대규모 언어모델(LLM) 기반의 인공지능 에이전트가 복잡한 작업을 수행하려면 다양한 외부 도구(tool)를 활용해야 합니다. 하지만 수천 개의 도구 라이브러리에서 필요한 도구를 정확히 찾아내는 것은 큰 도전 과제였습니다. 최근 발표된 연구 'The Menu Is an Execution Prior: State-Path Tool Menus for Online Agents'는 이러한 문제를 해결하기 위해 '도구 메뉴(tool menu)' 개념을 도입하고, 이를 최적화하는 새로운 접근 방식인 '상태 경로 도구 메뉴(State-Path Tool Menu)'를 제안했습니다.
기존의 도구 선택 방식은 주로 요청과의 관련성을 기반으로 도구를 순위 매겼습니다. 이 방식은 최종 목표 도구를 빠르게 찾아낼 수 있지만, 다단계 작업에 필요한 중간 단계의 도구, 즉 최종 도구의 입력값을 생성하는 선행 도구들을 놓치거나 늦게 제시하는 한계가 있었습니다. 연구팀은 이러한 문제를 해결하기 위해 '상태 경로(state path)'라는 개념을 도입했습니다. 이는 관찰 가능한 현재 상태에서 원하는 결과에 도달하기까지의 사전 실행 경로를 의미하며, 이 경로를 학습하여 에이전트가 실행 전에 필요한 도구들을 순서대로 예측하도록 돕습니다. 이 프레임워크는 인코더가 현재 상태에서 어떤 도구가 실행 가능하고, 그 출력이 다음 입력으로 어떻게 연결되며, 어떤 순서가 자주 나타나는지를 학습합니다. 이후 검색기(retriever)가 실행 가능한 진입점, 누락된 입력값을 생성하는 도구, 그리고 최종 목표 도구를 찾아내고, 재순위화기(reranker)가 생산자 도구를 소비자 도구보다 먼저 배치하여 올바른 실행 순서를 만듭니다.
이 새로운 접근 방식은 ToolBench 벤치마크에서 온라인 작업 성공률을 0.737에서 0.898로, 무려 16% 이상 향상시키는 놀라운 결과를 보여주었습니다. 이는 기존의 검색, 재순위화, 생성, 라우팅 등 다른 기준선(baseline)들을 능가하는 성능입니다. 또한, 상태 경로 메뉴는 32개의 도구만으로도 공식 목록의 128개 도구보다 더 완전한 도구 체인을 커버했으며, 이러한 성공률 향상은 다양한 모델 용량을 가진 실행기(executor) 제품군에서도 일관되게 나타났습니다. 이 연구는 LLM 에이전트가 복잡한 실제 환경에서 더욱 효율적이고 안정적으로 작동할 수 있는 기반을 마련하여, LLM 기반 에이전트의 실용적인 응용 분야를 크게 확장할 잠재력을 가지고 있습니다.