대규모 언어모델(LLM)이 수학 문제나 다단계 계획과 같은 복잡한 추론 작업에서 뛰어난 능력을 보여주고 있지만, 그 과정에서 중요한 한계가 발견되었습니다. 기존의 CoCoNuT(Chain of Continuous Thought) 패러다임은 모델이 잠재 공간(latent space)에서 여러 추론 경로를 동시에 탐색하게 하여 초기 단계에서 단일 경로에 얽매이지 않도록 돕지만, 각 추론 단계마다 중간 은닉 상태(intermediate hidden states)가 덮어씌워지면서 이전에 계산된 중요한 사실들을 잃어버리는 '개념 병목(concept bottleneck)' 현상이 발생했습니다. 이는 추론 깊이가 깊어질수록 성능 저하로 이어지는 문제였습니다.
이러한 개념 병목 문제를 해결하기 위해, 새로운 연구에서는 AGCLR(Adaptive Gated Continuous Latent Reasoning)이라는 접근 방식을 제안했습니다. AGCLR은 CoCoNuT에 '게이트가 있는 개념 스트림(Gated Concept Stream)'을 추가하여, 모든 추론 과정에 걸쳐 지속적인 잔여 메모리(persistent residual memory)를 유지합니다. 이 메모리는 세 가지 학습된 게이트, 즉 중간 사실을 메모리에 기록하는 쓰기 게이트(write gate), 관련 이전 상태를 검색하는 읽기 게이트(read gate), 그리고 불필요한 맥락을 제거하는 망각 게이트(forget gate)에 의해 제어됩니다. 이 메커니즘을 통해 모델은 추론 깊이가 깊어져도 중요한 정보를 잊지 않고 지속적으로 활용할 수 있게 됩니다.
GPT-2를 기반 모델로 사용하여 GSM8K, HotpotQA, ProsQA 등 다양한 데이터셋에서 AGCLR을 평가한 결과, 모든 유형의 데이터셋에서 일관된 성능 향상을 보였습니다. 특히 추론 깊이가 증가할수록 성능 격차가 더욱 커지는 것을 확인하며, AGCLR이 개념 병목 문제를 직접적으로 해결하고 LLM의 복잡한 추론 능력을 효과적으로 개선함을 입증했습니다. 이는 LLM이 더욱 복잡하고 장기적인 추론이 필요한 실제 문제 해결에 한 걸음 더 다가설 수 있음을 시사합니다.