문샷 AI(Moonshot AI)가 2.8조 개 매개변수와 100만 토큰이 넘는 방대한 컨텍스트 길이를 가진 오픈 가중치 멀티모달 에이전트 모델 'Kimi-K3'를 허깅페이스(Hugging Face)에 공개했습니다. 이 모델은 장시간 코딩, 복잡한 지식 작업, 그리고 심층적인 추론을 지원하도록 설계되었으며, 텍스트와 이미지 이해는 물론 비디오 이해까지 가능하다고 밝혀졌습니다.
Kimi-K3는 Kimi Delta Attention(KDA), Attention Residuals, Stable LatentMoE 같은 독자적인 기술을 결합하여 896개의 전문가(expert) 중 토큰마다 16개를 활성화하는 방식으로 작동합니다. 이를 통해 이전 모델인 Kimi K2 대비 전체 스케일링 효율이 약 2.5배 향상되었습니다. 또한, MXFP4 가중치와 MXFP8 활성값으로 양자화 인식 학습(quantization-aware training)되어 다양한 하드웨어에서 효율적으로 실행될 수 있도록 설계되었습니다. 공개 평가에서 GPQA Diamond 93.5점, Terminal-Bench 2.1 88.3점 등 높은 점수를 기록하며 성능을 입증했습니다. 개발자들은 트랜스포머스(Transformers), vLLM, SGLang 등 다양한 프레임워크와 OpenAI·Anthropic 호환 API를 통해 Kimi-K3를 활용할 수 있습니다.
Kimi-K3의 공개는 대규모 언어모델(LLM) 및 멀티모달 모델 개발의 투명성과 접근성을 높이는 중요한 진전으로 평가됩니다. 특히 100만 토큰 이상의 컨텍스트 길이는 개발자들이 훨씬 더 복잡하고 장기적인 작업을 자동화할 수 있는 가능성을 열어줍니다. 이는 대규모 코드베이스 분석, 방대한 문서 기반의 심층 연구, 복잡한 설계 작업 등 기존 모델로는 어려웠던 영역에서 혁신적인 애플리케이션 개발을 촉진할 수 있습니다. 오픈 가중치와 유연한 배포 옵션은 스타트업과 연구자들이 자체 데이터로 모델을 미세조정(fine-tuning)하여 특정 산업이나 사용 사례에 최적화된 솔루션을 만들 수 있는 기회를 제공할 것입니다.