최근 연구에서 어텐션 메커니즘(attention mechanism)의 높은 계산 비용 없이 시퀀스 데이터를 처리하는 고정 상태 시퀀스 모델(fixed-size state sequence model)의 한계를 극복하는 새로운 방법이 제시되었습니다. 이 모델들은 어텐션의 2차(quadratic) 비용을 피하면서도, 입력 길이에 따라 기억을 읽어내는 방식에 있어 중요한 설계 문제를 안고 있었습니다. 특히, ResonatorLM과 같은 모델은 고정된 방식으로 메모리를 읽어내어 긴 시퀀스 처리에서 성능 저하를 겪는 문제가 있었습니다.
Shivesh Rane의 연구는 ResonatorLM의 고정된 읽기 위상(readout phase)을 현재 토큰에 따라 달라지도록 변경했습니다. 이는 모델이 메모리에서 정보를 읽어낼 때 입력에 따라 유연하게 반응하도록 하여, 기존 모델의 단점인 고정된 기억 읽기 방식을 개선합니다. 이 변화는 모델의 파라미터를 0.2%만 증가시키면서도, 훈련되지 않은 상태에서 위상이 경과 시간을 인코딩한다는 분석 결과를 보여주었습니다. 특히, 256 토큰으로 훈련된 600만 파라미터(6M-parameter) 모델을 1024 토큰에서 테스트했을 때, 혼란도(perplexity)가 12.81에서 3.76으로 크게 감소하며 훈련 길이를 넘어선 입력에서도 뛰어난 성능을 보였습니다.
이러한 개선은 고정 상태 시퀀스 모델이 더 긴 문맥(context)을 효율적으로 처리할 수 있는 길을 열어줍니다. 어텐션 기반 모델의 계산 비용 문제로 인해 대규모 언어 모델(LLM)의 효율적인 운영이 중요해지는 시점에서, 이번 연구는 고정 상태 모델의 실용성을 크게 높일 수 있습니다. 특히, 장기 기억(long-memory) 헤드가 훈련 시 노출된 것보다 더 많은 이력을 축적하여 발생하는 기존 모델의 실패 지점을 해결함으로써, 모델이 예측 불가능한 긴 입력에서도 안정적인 성능을 유지할 수 있게 되었습니다. 이는 향후 효율적인 시퀀스 모델 개발에 중요한 기반이 될 것입니다.