최근 한 개발자가 일반 소비자용 그래픽카드인 엔비디아(NVIDIA) RTX 4090 한 대만을 이용해 힌디어 특화 대규모 언어모델(LLM)인 '힌디-모던BERT(hindi-modernBERT)'를 5일 만에 성공적으로 훈련했다고 발표했습니다. 이 모델은 1억 8,800만 개의 매개변수(parameter)와 8,192 토큰(token)이라는 매우 긴 컨텍스트(context) 길이를 지원하여, 기존 힌디어 모델들이 512 토큰에 머물렀던 한계를 극복했습니다.
'힌디-모던BERT'는 약 285억 개의 힌디어 토큰으로 처음부터 학습되었으며, 특히 장문 문서 검색(long-document retrieval) 성능 향상에 초점을 맞췄습니다. 이를 위해 새로운 힌디어 BPE 토크나이저를 개발하고, 1,024 토큰에서 시작해 8,192 토큰으로 컨텍스트를 확장하는 2단계 사전 학습(pre-training) 방식을 적용했습니다. 이러한 노력 덕분에 이 모델은 mMARCO 힌디어 및 MLDR 힌디어와 같은 주요 힌디어 검색 벤치마크에서 기존 모델들을 능가하는 최첨단(SOTA) 성능을 달성했습니다. 이는 단일 RTX 4090 GPU의 효율적인 활용과 최적화된 학습 전략이 결합된 결과입니다.
이러한 성과는 개인 개발자도 제한된 자원으로 특정 언어 및 도메인에 특화된 고성능 AI 모델을 구축할 수 있음을 보여줍니다. 특히, 긴 컨텍스트 길이는 복잡한 법률 문서, 학술 논문, 긴 뉴스 기사 등 전체 문맥을 이해해야 하는 정보 검색 시스템에 필수적입니다. 힌디어와 같이 디지털 콘텐츠가 방대하지만 고품질 AI 모델이 부족했던 언어권에서는 '힌디-모던BERT'와 같은 모델이 정보 접근성을 높이고, 새로운 AI 기반 서비스 개발을 촉진하는 중요한 기반 기술이 될 것입니다. 이는 더 나아가 다양한 소수 언어에 대한 AI 모델 개발에도 영감을 줄 수 있습니다.