최근 공개된 'Kimi Linear'는 대규모 언어모델(LLM)의 핵심 병목 중 하나인 어텐션(attention) 메커니즘의 효율성과 표현력을 동시에 개선한 새로운 아키텍처입니다. 특히 긴 문맥을 처리할 때 발생하는 계산 복잡도와 메모리 사용량 문제를 해결하면서도, 단기 및 장기 문맥 이해 능력과 강화학습(RL) 성능 전반에서 기존 모델을 뛰어넘는 결과를 보여주어 LLM 개발 커뮤니티의 기대를 모으고 있습니다.
Kimi Linear의 핵심은 'Kimi Delta Attention(KDA)'과 'Multi-Layer Attention(MLA)'을 3:1 비율로 배치한 하이브리드 구조에 있습니다. KDA는 Gated DeltaNet의 망각 게이트를 채널 단위로 세분화하여 각 특성 차원의 메모리 감쇠를 독립적으로 제어합니다. 이는 유한한 순환신경망(RNN) 메모리를 더 정밀하게 조절하여 장기 문맥 처리의 한계를 극복합니다. 또한, 특수한 Diagonal-Plus-Low-Rank(DPLR) 전이 행렬과 청크(chunk) 단위 병렬 알고리듬을 통해 일반 DPLR 대비 연산 효율을 약 100% 향상시켰습니다. 1.4조(trillion) 토큰으로 학습된 30억(3B) 활성 파라미터 모델은 MMLU-Pro 4K에서 51.0점, RULER 128K에서 84.3점을 기록하며 기존 MLA 기반 모델을 앞섰고, 100만(1M) 토큰에서는 출력 토큰당 시간(TPOT)이 MLA 대비 6.3배 빨라지는 등 뛰어난 성능과 효율을 입증했습니다.
이러한 Kimi Linear의 등장은 에이전트형 LLM이나 강화학습 기반 모델처럼 긴 궤적, 도구 사용, 복잡한 의사결정 공간을 추론 중에 처리해야 하는 분야에 큰 영향을 미 미칠 것으로 예상됩니다. 기존 소프트맥스 어텐션(softmax attention)은 시간 복잡도가 문맥 길이에 따라 제곱으로 증가하고, KV 캐시(cache)가 문맥 길이에 비례하여 커지는 문제로 인해 처리량과 실시간 상호작용에 제약이 있었습니다. Kimi Linear는 장문 생성 시 KV 캐시를 최대 75%까지 절감하면서도 기존 어텐션 파이프라인의 캐시 및 스케줄링 인터페이스를 변경하지 않고 적용할 수 있어, 대규모 LLM의 상용화와 확장에 기여할 잠재력이 큽니다. KDA 커널, vLLM 구현 및 모델 체크포인트도 공개되어 개발자들이 쉽게 활용할 수 있습니다.