대규모 언어모델(LLM)의 핵심 기술인 어텐션(attention) 메커니즘은 입력 시퀀스의 길이가 길어질수록 필요한 메모리(KV 캐시)가 기하급수적으로 증가하는 문제를 안고 있습니다. 이를 해결하기 위해 등장한 선형 어텐션(linear attention)은 고정된 재귀 상태(recurrent state)를 사용하여 메모리 효율성을 높였지만, 이 과정에서 정보 압축으로 인해 정확한 상태 추적과 장기적인 문맥 기억 능력에 제약이 있었습니다.
최근 Tiantian Zhang 연구원이 발표한 '준직접 푸리에 델타 어텐션(Semidirect Fourier Delta Attention, SFDA)'은 이러한 선형 어텐션의 한계를 극복하기 위한 새로운 접근 방식입니다. SFDA는 기존 키미 델타 어텐션(Kimi Delta Attention)의 일반화된 형태로, 실수 대각 감쇠(real diagonal decay) 대신 블록 회전 푸리에 제어(block-rotational Fourier control)를 도입합니다. 이는 위상(phase)을 통해 메모리 상태를 제어하며, 복잡한 대수적 분석을 통해 안정성과 복잡성 경계를 도출하고 위상과 낮은 랭크(low-rank) 메모리의 특징을 명확히 했습니다. 연구팀은 수치적 검증과 간단한 상태 추적 실험을 통해 SFDA가 위상 제어가 없는 기존 델타 어텐션보다 훨씬 뛰어난 순환 기억(cyclic memory) 학습 능력을 보여주었음을 확인했습니다.
이 연구는 대규모 언어모델의 장기 기억력과 문맥 처리 능력을 혁신적으로 개선할 잠재력을 가지고 있습니다. 현재 LLM은 긴 문서나 대화에서 일관성을 유지하는 데 어려움을 겪는 경우가 많은데, SFDA와 같은 위상 제어 방식은 이러한 문제를 완화하여 더욱 정교하고 효율적인 AI 모델 개발의 길을 열 수 있습니다. 향후 융합 커널(fused kernels) 및 대규모 언어모델 비교 연구가 진행될 예정이며, 이는 실제 LLM 적용 가능성을 더욱 높일 것으로 기대됩니다.