최근 연구에 따르면, 대규모 언어모델(LLM) 기반의 언어 에이전트가 정보를 처리하는 방식에 혁신적인 변화가 제안되었습니다. 기존 언어 에이전트는 '관찰-추론-행동'의 반복 루프를 수행하지만, 이때 필요한 외부 메모리(external memory)는 루프 바깥에 존재하여 한 번의 턴(turn)당 최대 한 번만 조회되었습니다. 이 방식은 네트워크 지연(latency)으로 인해 에이전트의 응답 시간을 크게 늘리는 주범으로 지목되어 왔습니다.
새로운 연구는 이 메모리를 에이전트의 내부 처리(in-process) 루프 안으로 가져와 매 단계(step)마다 읽고 쓸 수 있도록 하는 방안을 제시합니다. 가장 큰 걸림돌이었던 지연 시간 문제는 네트워크 스토어의 수십~수백 밀리초(ms) 응답 시간과 달리, 인-프로세스 스토어는 약 100 마이크로초(us)로 세 자릿수 이상 빠르다는 점을 활용했습니다. 이처럼 빠른 메모리 접근 속도를 통해, 에이전트가 정보를 실시간으로 활용하며 마치 확장된 작업 기억(extended working memory)처럼 기능하게 됩니다. 연구진은 GPT-5급 모델을 대상으로 실험한 결과, 인-루프 메모리를 사용했을 때 정보 회상(recall) 능력이 크게 향상되었으며, 불필요한 행동(redundant actions)도 현저히 줄어드는 것을 확인했습니다.
이러한 '인-루프 메모리' 접근 방식은 언어 에이전트의 효율성과 지능적 행동을 근본적으로 개선할 수 있습니다. 지연 시간 병목 현상이 해소되면서 에이전트는 더 복잡하고 장기적인 추론을 실시간으로 수행할 수 있게 됩니다. 이는 고객 서비스 챗봇, 복잡한 문제 해결 에이전트, 자율 에이전트 등 다양한 응용 분야에서 사용자 경험을 혁신하고 에이전트의 성능을 극대화하는 중요한 전환점이 될 것입니다. 특히, 임베딩(embedding) 과정에서 발생하는 지연 시간까지 줄일 수 있다면, 언어 에이전트의 전반적인 반응 속도는 더욱 빨라질 것으로 기대됩니다.