대규모 언어모델(LLM)의 핵심인 트랜스포머(Transformer) 아키텍처는 긴 컨텍스트(long-context)를 처리하는 데 탁월한 성능을 보이지만, 그 대가로 학습 시에는 컨텍스트 길이에 비례해 제곱으로 증가하는 막대한 연산 비용을, 추론(inference) 시에는 키-값 캐시(key-value cache)가 선형적으로 늘어나는 메모리 비효율성을 안고 있습니다. 반면 재귀 신경망(Recurrent Neural Network) 기반 모델은 고정된 크기의 상태(fixed-size state)로 전체 기록을 압축하여 효율적인 디코딩(decoding)이 가능하지만, 이전 정보가 새로운 정보에 덮어씌워지면서 장기 기억(long-range memory) 성능이 저하되는 문제가 있었습니다.
최근 공개된 연구 논문에서 소개된 MARCH(Memory-Anchor Routing across Context History)는 이러한 두 아키텍처의 장점을 결합한 새로운 접근 방식입니다. MARCH는 주기적으로 누적된 재귀 상태 체크포인트(recurrent-state checkpoints)를 '상태 앵커(state anchors)'로 캐시하고, 각 앵커에 내용 기반의 압축된 '앵커 키(anchor key)'를 연결합니다. 이를 통해 MARCH는 컨텍스트 길이가 증가함에 따라 확장 가능한 메모리 뱅크(memory bank)를 유지할 수 있으며, 이는 과거 정보의 해상도(historical resolution)와 메모리 비용 사이에서 조절 가능한 균형점을 제공합니다. 각 토큰(token) 처리 시, MARCH는 앵커 쿼리(anchor query)를 생성하여 인과적으로 사용 가능한 모든 상태 앵커에 어텐션(attention)을 적용하고, 현재 상태와 모든 과거 앵커를 어텐션 방식으로 집계하여 최종 출력을 계산합니다.
표준 사전 학습(pretraining) 이후, MARCH는 상식 추론(commonsense reasoning), LongBench, 인컨텍스트 검색(in-context retrieval) 등 다양한 벤치마크에서 기존의 여러 선형 어텐션(linear attention) 변형 모델들을 일관되게 능가하는 성능을 보였습니다. 이는 내용 기반으로 라우팅되는 상태 캐싱(content-routed state caching) 방식이 재귀 모델의 고유한 연산 경로를 유지하면서도 장기 기억 능력을 크게 강화할 수 있음을 입증합니다. MARCH는 트랜스포머의 고질적인 연산 및 메모리 비효율성 문제를 해결하면서도 장문 처리 성능을 유지하거나 개선할 수 있는 새로운 길을 열어, 향후 대규모 언어모델 개발에 중요한 영향을 미칠 것으로 기대됩니다.