최근 대규모 언어모델(LLM) 분야에서 Qwen과 Kimi와 같은 선두 모델들이 채택하며 주목받고 있는 'DeltaNet' 계열 선형 어텐션(linear attention) 기술이 있습니다. 이 기술은 기존 어텐션 메커니즘의 한계를 극복하고, 모델이 시퀀스(sequence) 길이에 선형적으로 동작하면서도 효율적으로 정보를 기억하고 처리할 수 있도록 설계되었습니다. 소프트맥스 어텐션에서 시작하여 고정 크기 상태를 사용하는 선형 어텐션, 그리고 오류만 기록하는 DeltaNet, 상태 전체를 감쇠하는 Gated DeltaNet, 나아가 채널별로 감쇠하는 Kimi Delta Attention(KDA)까지 단계적으로 발전해왔습니다.
기존의 일반적인 소프트맥스 어텐션은 시퀀스 길이가 길어질수록 계산량이 기하급수적으로 늘어나는 이차 복잡도(quadratic complexity) 문제를 가지고 있습니다. 반면 선형 어텐션은 과거 key-value 외적의 합을 고정 크기 상태에 저장하여 시퀀스 길이에 선형적으로 동작합니다. 하지만 단순히 과거 정보를 누적하는 방식은 새로운 정보가 기존 정보와 간섭하는 '가산 쓰기 간섭' 문제를 일으킬 수 있습니다. DeltaNet은 이러한 문제를 해결하기 위해 현재 key에서 예측한 값과 실제 value의 차이, 즉 '오류'만을 기록하는 방식을 도입합니다. 이는 학습된 쓰기 강도(beta)를 통해 기존 연관을 선택적으로 교체하며, 온라인 경사하강법(online gradient descent)과 유사한 방식으로 작동합니다. 여기서 더 나아가 Gated DeltaNet은 학습된 스칼라(alpha)를 사용하여 상태 전체를 먼저 감쇠(forget)시킨 후 새로운 정보를 기록함으로써 오래된 정보가 계속해서 영향을 미치는 문제를 해결합니다. Kimi Delta Attention(KDA)은 이 스칼라 감쇠를 key 채널별로 다르게 적용할 수 있도록 대각 행렬(diagonal matrix)로 확장하여, 각 key 채널이 서로 다른 비율로 정보를 유지하거나 삭제할 수 있게 합니다. 이는 모델이 특정 유형의 정보를 더 오래 기억하거나 빠르게 잊을 수 있도록 정교한 제어를 가능하게 합니다.
이러한 DeltaNet 계열 어텐션의 발전은 LLM의 효율성과 성능 향상에 중요한 의미를 가집니다. 특히 KDA는 복잡한 장문 이해와 같은 작업에서 모델의 장기 기억 능력을 크게 개선할 수 있습니다. 디코드(decode) 시에는 융합 순환(fused recurrent) 방식으로 효율적인 서빙을 지원하고, 학습이나 긴 프리필(prefill) 시에는 청크(chunk) 방식으로 병렬 처리를 가능하게 하여 대규모 모델 학습의 효율성을 높입니다. 이는 LLM이 더 긴 문맥을 이해하고, 더 복잡한 추론을 수행하며, 더 빠르게 응답할 수 있도록 하는 핵심 기술로 작용합니다. 결과적으로 사용자들은 더욱 자연스럽고 유능한 AI 경험을 할 수 있게 되며, 개발자들은 더 효율적인 모델을 구축할 수 있는 기반을 마련하게 됩니다.