중국의 거대 기술 기업 바이두(Baidu)가 자사의 최신 초거대 인공지능(AI) 모델인 '어니 5.5 플래시 베이스(ERNIE 5.5 Flash Base)'의 사전학습(pre-training) 종료 시점 가중치(weights)를 공개했습니다. 이 모델은 2,800억 개의 전체 파라미터(parameter) 중 토큰(token)당 140억 개를 활성화하는 희소 혼합 전문가(Sparse Mixture-of-Experts, MoE) 구조를 채택했으며, 33.5조(trillion) 토큰이라는 방대한 데이터로 처음부터 학습되었습니다. 특히 중간 학습이나 후속 학습이 적용되지 않은 순수한 기반 모델로서, 개발자와 연구자들이 특정 도메인에 모델을 적응시키거나, 지시 튜닝(instruction tuning), 강화학습(reinforcement learning) 등 다양한 후속 연구의 출발점으로 활용할 수 있도록 제공됩니다.
어니 5.5 플래시 베이스는 최대 128K 토큰의 사전학습 문맥(context) 길이를 지원하며, 미세조정(fine-tuning)과 추론(inference) 시에는 1M(100만) 토큰까지 확장된 문맥을 처리할 수 있습니다. 이는 하이브리드 희소 어텐션(Hybrid Sparse Attention)이라는 독자적인 기술 덕분인데, 대부분의 층(layer)에서 과거 문맥을 128배 압축하면서도 일부 핵심 층에서는 토큰 단위 접근을 유지하여 긴 문맥 처리 비용을 획기적으로 줄였습니다. 또한, 다중 라우터(Multi-Router)와 스테이블 잠재 MoE(Stable LatentMoE) 설계로 전문가(expert) 활용의 효율성과 안정성을 높였으며, 새로운 BPE 토크나이저(tokenizer)는 숫자를 효과적으로 처리하여 산술 및 숫자 관련 텍스트 처리 성능을 개선했습니다. 바이두 자체 비교 평가에서 이 모델은 시험(exam), 추론, 코드(code) 벤치마크에서 강력한 성능을 보였으며, 특히 HumanEval+에서 82.3점, MMLU-Pro에서 78.4점을 기록하며 경쟁 모델들을 앞섰습니다.
이번 어니 5.5 플래시 베이스의 공개는 대규모 언어모델(LLM) 개발의 진입 장벽을 낮추고, AI 연구 및 응용 분야에 새로운 활력을 불어넣을 것으로 기대됩니다. 개발자들은 바이두가 막대한 자원을 투입해 학습시킨 고성능 기반 모델을 활용하여, 초기 사전학습 비용 부담 없이 자신들이 원하는 특정 작업과 학습 방법에 집중할 수 있게 됩니다. 이는 AI 모델의 맞춤형 개발을 가속화하고, 다양한 산업 분야에서 혁신적인 AI 솔루션이 등장하는 데 기여할 것입니다. 다만, 모델 라이선스(ERNIE 5.5 Flash Base Model License Agreement v1.0)에 따라 EU, 영국, 한국 등 특정 지역에서는 사용이 제한될 수 있으므로, 활용 시 주의가 필요합니다.