AI 에이전트(agent) 시스템이 반복적인 맥락(context) 재학습으로 인해 비효율적인 토큰(token) 사용과 높은 비용 문제를 겪고 있다는 지적이 나왔습니다. 대부분의 에이전트 시스템은 작업마다 티켓, 슬랙 스레드, 문서, 고객 이력 등 방대한 과거 정보를 매번 다시 읽어 들이는 경향이 있어, 이는 숨겨진 비용으로 작용해왔습니다. 이러한 문제를 해결하기 위해 스타트업 파클(Parcle)은 AI 에이전트의 공유 메모리 계층(shared memory layer)을 개발, 토큰 사용량을 60% 이상 절감하는 데 성공했다고 밝혔습니다.
파클이 개발한 이 시스템은 운영 맥락을 수집하고, 발생한 사건들을 색인화(index)합니다. 이를 통해 에이전트가 다음 단계를 수행할 때 모든 과거 정보를 다시 붙여넣는 대신, 작고 관련성 높은 메모리 세트만 검색하여 활용할 수 있도록 합니다. 기존에는 정적 접두사(static prefix) 캐싱, 저렴한 모델로 라우팅, 팀 예산 설정 등의 방법으로 비용을 줄이려 했지만, 이는 에이전트가 모든 것을 다시 탐색하려는 근본적인 행동을 고치지 못했습니다. 파클의 접근 방식은 에이전트가 불필요한 정보 탐색에 시간을 낭비하지 않도록 하여, 보다 효율적이고 경제적인 AI 운영을 가능하게 합니다.
이러한 토큰 절감은 대규모 언어모델(LLM) 기반 에이전트 시스템의 운영 비용을 획기적으로 낮출 수 있다는 점에서 매우 중요합니다. 특히 복잡하고 장기적인 작업을 수행하는 에이전트의 경우, 반복적인 맥락 재학습으로 인한 비용 부담이 상당했습니다. 파클의 솔루션은 이러한 비용 부담을 줄여 더 많은 기업이 AI 에이전트를 도입하고 확장할 수 있는 길을 열어줄 것으로 기대됩니다. 또한, 에이전트가 필요한 정보에 더 빠르게 접근함으로써 작업 처리 속도와 정확도 향상에도 기여할 수 있습니다.