최근 공개된 연구 논문 '인퍼런스벤치(InferenceBench)'에 따르면, AI 에이전트가 대규모 언어모델(LLM)의 추론(inference) 속도를 최적화하는 데 있어 상당한 성과를 거두었습니다. 이 벤치마크는 AI 에이전트가 OpenAI 호환 추론 서버를 배포하고 LLM 추론 속도를 최적화하는 과정을 평가하며, 기존의 정형화된 벤치마크와 달리 개방형(open-ended) 문제 해결 능력을 측정하는 데 초점을 맞춥니다.
인퍼런스벤치에서 각 AI 에이전트는 특정 LLM과 H100 GPU 한 대, 그리고 2시간의 시간 예산을 부여받아 추론 속도를 최적화합니다. 최적화 시나리오는 사전 채우기 지연 시간(prefill latency), 디코딩 지연 시간(decode latency), 동시 요청 처리량(concurrent request throughput) 등 세 가지 병목 현상을 개별적으로 다루거나 이들을 모두 균형 있게 최적화하는 네 번째 시나리오로 구성됩니다. 15가지 최첨단 에이전트 구성이 테스트되었는데, 이들은 순수한 파이토치(PyTorch) 기준선 대비 최대 8.08배의 성능 향상을 보였으며, vLLM과 같은 서빙 엔진의 기본 설정보다도 4.05배 빠른 속도를 기록했습니다. 이는 AI 에이전트가 단순한 하이퍼파라미터(hyperparameter) 튜닝을 넘어 실제 엔지니어링 문제 해결 능력을 갖추고 있음을 시사합니다.
하지만 연구 결과는 AI 에이전트의 한계점도 명확히 보여줍니다. 에이전트들은 다양한 최적화 기술을 시도했지만, 대부분 단일 추론 프레임워크에 집중했으며, 제한된 수의 구성만 테스트했습니다. 나머지 시간 예산은 주로 재측정, 복구, 하이퍼파라미터 최적화에 사용되었고, 근본적으로 다른 전략을 탐색하는 데는 미흡했습니다. 이는 에이전트가 도메인 지식은 풍부하지만, 다양하고 혁신적인 구성을 제안하고 체계적으로 평가하며 최적의 솔루션을 찾아내는 능력에는 아직 개선의 여지가 있음을 의미합니다. 인퍼런스벤치는 AI 에이전트가 암기된 솔루션이 아닌 실제 엔지니어링 환경에서 개방형 문제를 얼마나 잘 해결할 수 있는지를 보여주는 중요한 이정표가 될 것입니다.