중국 AI 스타트업 문샷 AI(Moonshot AI)가 오는 7월 27일, 허깅페이스(HuggingFace)를 통해 차세대 대규모 언어모델(LLM)인 'Kimi-K3'를 공개할 예정이라고 발표했습니다. Kimi-K3는 세계 최초의 3조 토큰(3T-class) 규모 오픈 모델로, 장문 코딩, 지식 작업, 복합 추론 등 고난도 지능 작업을 목표로 개발되었습니다.
Kimi-K3는 'Kimi 델타 어텐션(Delta Attention)'과 '어텐션 잔차(Attention Residuals)' 기반의 새로운 아키텍처를 특징으로 합니다. 특히 도구 호출(tool calling), 브라우징(browsing), 다단계 계획(multi-step planning) 등 자체적인 에이전트(agentic) 기능을 내장하여 복잡한 작업을 수행할 수 있도록 설계되었습니다. 또한, 저장소(repository) 규모의 코드 이해를 위한 확장된 컨텍스트 윈도우(context window)를 제공하여 개발자들에게 큰 도움이 될 것으로 기대됩니다. 모델 가중치(weights)는 오픈소스로 공개될 예정입니다.
이번 Kimi-K3의 출시는 오픈소스 대규모 언어모델 생태계에 중요한 전환점이 될 것으로 보입니다. 3조 토큰이라는 전례 없는 규모와 강력한 에이전트 기능은 기존 오픈 모델의 성능 한계를 뛰어넘어, 더 복잡하고 실제적인 응용 분야에 AI를 적용할 수 있는 가능성을 열어줄 것입니다. 이는 개발자와 연구자들이 최첨단 AI 기술에 접근하고 활용하는 데 기여하며, AI 기술의 민주화와 혁신을 가속화하는 계기가 될 것입니다.