최근 공개된 Kimi K3는 현재까지 발표된 오픈소스 대규모 언어모델(LLM) 중 가장 큰 규모인 2.8조(trillion) 개의 매개변수(parameter)를 가진 모델로, 작년에 출시된 Kimi Linear 모델의 확장된 생산 버전입니다. 이 모델은 특히 추론(inference) 효율성을 극대화하기 위한 여러 아키텍처 개선 사항을 포함하고 있으며, 멀티모달(multimodal) 기능을 기본 지원하는 것이 특징입니다.
Kimi K3 아키텍처의 핵심적인 변화 중 하나는 LatentMoE의 도입입니다. 이는 Nemotron 3 Ultra에서도 볼 수 있는 기술로, 대규모 선형 레이어(linear layer)를 다중 헤드 잠재 어텐션(multi-head latent attention)과 유사하게 압축(down-project)하여 효율성을 높입니다. 또한, 기존의 어텐션(attention) 메커니즘을 Kimi Delta Attention과 같은 효율성 최적화 버전으로 대체했습니다. 효율성 개선 외에 주목할 만한 변화는 어텐션 잔차(attention residuals)입니다. 이는 DeepSeek V4의 mHC(manifold-constrained Hyper-Connections)와 유사하게 잔차 경로(residual path)를 개선하는 방식으로, 레이어 간 잔차 연결에 어텐션 점수를 활용하여 중요도를 부여합니다. 이 방식은 검증 손실(validation loss)과 하위 작업 성능을 일관되게 개선하지만, 훈련 비용은 약 4%, 추론 비용은 약 2% 증가시키는 것으로 알려졌습니다. 흥미롭게도 Kimi K3는 기존의 RoPE(Rotary Positional Embeddings)를 완전히 제거하고 NoPE(No Positional Embeddings)를 전면적으로 채택했는데, 이는 최신 프론티어급 모델 중에서는 이례적인 시도입니다.
Kimi K3의 출시는 대규모 언어모델(LLM)의 효율성과 확장성 측면에서 중요한 이정표를 제시합니다. 특히 2.8조 매개변수라는 압도적인 규모에도 불구하고 추론 효율성을 개선하려는 노력은, 앞으로 더 크고 복잡한 모델이 실제 서비스에 적용될 가능성을 높입니다. 멀티모달 지원은 텍스트를 넘어 이미지, 비디오 등 다양한 형태의 데이터를 통합 처리할 수 있는 범용 인공지능(AI)의 발전을 가속화할 것입니다. 이러한 기술적 진보는 개발자들이 더 강력하고 유연한 AI 애플리케이션을 구축할 수 있는 기반을 제공하며, 오픈소스 생태계 전반에 걸쳐 혁신을 촉진할 것으로 기대됩니다.