Kimi K3가 480억(48B) 매개변수의 Kimi Linear를 2.8조(2.8T) 매개변수로 확장하며, 현재 공개 가중치 모델 중 가장 큰 규모로 등장했습니다. 이 새로운 프로덕션 모델은 추론 효율을 극대화하고 잔차 경로를 개선하는 데 중점을 둔 혁신적인 아키텍처를 선보입니다. 특히 LatentMoE와 다중 헤드 잠재 어텐션(multi-head latent attention) 같은 새로운 구성 요소를 도입하여 기존 MoE와 어텐션 메커니즘을 대체했습니다.
Kimi K3의 핵심은 추론 효율 개선에 있습니다. 기존의 일반적인 MoE(Mixture-of-Experts)를 LatentMoE로 대체했는데, 이는 대형 선형 계층을 다운 프로젝션(down-projection)하여 압축하는 방식으로, Nemotron 3 Ultra와 유사한 접근법입니다. 또한, 일반 어텐션 대신 다중 헤드 잠재 어텐션과 Kimi Delta Attention(KDA)을 사용합니다. KDA는 일반적인 어텐션이라기보다는 RNN(Recurrent Neural Network)에 가까운 구조로, 학습 시 효율적으로 병렬화할 수 있으며 작은 편집 가능 어텐션 메모리처럼 동작하는 은닉 상태를 가집니다. 이와 함께, 어텐션 잔차(attention residuals)는 계층 간 잔차를 어텐션 점수 기반 가중치로 연결하여 검증 손실과 다운스트림(downstream) 성능을 소폭 개선합니다. 흥미로운 점은 모든 RoPE(Rotary Positional Embeddings) 계층을 제거하고 NoPE(No Positional Embeddings), 즉 위치 임베딩 없음(No Positional Embeddings)을 전체 계층에 적용했다는 것입니다. 이는 프런티어급 모델 중 최초의 시도로, KDA 계층이 위치 정보를 암묵적으로 처리하는 덕분에 가능해진 것으로 보입니다. 마지막으로 네이티브 멀티모달 지원까지 추가하여 텍스트 외 다양한 데이터 유형을 처리할 수 있게 되었습니다.
Kimi K3의 등장은 대규모 언어모델(LLM) 아키텍처 설계에 있어 중요한 전환점을 제시합니다. 특히 위치 임베딩 없이도 최첨단 성능을 달성할 수 있음을 보여주며, 이는 모델의 복잡성을 줄이고 효율성을 높이는 새로운 가능성을 열었습니다. LatentMoE와 KDA 같은 혁신적인 구성 요소들은 추론 비용을 절감하면서도 성능을 유지하거나 개선할 수 있음을 입증하며, 향후 LLM 개발의 방향성에 큰 영향을 미칠 것으로 예상됩니다. 또한, 네이티브 멀티모달 지원은 모델의 활용 범위를 넓혀 다양한 산업 분야에서 새로운 애플리케이션 개발을 촉진할 잠재력을 가지고 있습니다.