대규모 언어모델(LLLLM) 기반 에이전트가 복잡한 작업을 수행하기 위해 다양한 외부 도구를 활용하는 능력이 중요해지고 있습니다. 하지만 현재 모델 컨텍스트 프로토콜(MCP) 방식에서는 에이전트가 매번 방대한 도구 스키마(schema)를 재인코딩해야 하는데, 이 과정에서 시퀀스 길이의 제곱에 비례하는 사전 채우기(prefill) 비용이 발생하여 도구 레지스트리(registry)가 커질수록 첫 토큰 생성 시간(TTFT)이 급격히 늘어나는 문제가 있었습니다. 이는 에이전트의 응답 속도를 저해하는 주요 원인이었습니다.
무스타파 아르슬란(Mustafa Arslan) 연구원이 제안한 '넥서스(Nexus)'는 이러한 문제를 해결하기 위해 도구 라우팅(routing)을 스키마 사전 채우기 비용에서 분리하는 혁신적인 접근 방식을 사용합니다. 넥서스는 INT8 의미론적 룩어사이드 버퍼(SLB)와 교차 인코더(cross-encoder) 마진 게이트를 활용하여 검색 기반으로 도구를 선택하고, 인수는 압축된 텍스트 시그니처(평균 19토큰)를 통해 생성합니다. 이 방식은 도구 레지스트리가 250개로 확장되어도 라우팅 정확도를 약 89%로 유지하며, 기존 방식이 컨텍스트 창을 완전히 넘어서는 상황에서도 첫 번째 인수 토큰을 1.66배 빠르게 생성합니다. 또한, 메인 컨텍스트 토큰을 약 80% 절약하는 효과도 가져옵니다.
넥서스는 이러한 주된 개선 외에도 컴파일된 스키마 키-값(KV) 블록을 라이브 컨텍스트에 직접 이식하는 보조적인 방법도 사용합니다. 이는 로터리 위치 임베딩(RoPE) 위상 편차(phase drift)에 의해 제한되지만, 임계값(P=256)을 넘어서면 깊이 적응형 접미사 재디코딩(suffix redecode)으로 문제를 해결하여 출력 충실도(output fidelity)를 보장합니다. 이 기술은 중간 깊이(moderate depth)에서 1.1~1.7배의 TTFT 속도 향상을 제공하며, 깊은 컨텍스트에서는 기존 방식과 유사한 성능을 보입니다. 넥서스는 에이전트 LLM이 더 많은 도구를 효율적으로 활용할 수 있게 함으로써, 복잡한 작업을 더욱 빠르고 정확하게 처리할 수 있는 기반을 마련합니다. 이는 LLM 에이전트의 실용성을 크게 높여 다양한 산업 분야에서의 적용 가능성을 확장할 것으로 기대됩니다.