최근 대규모 언어모델(LLM) 기반의 에이전트 개발이 활발해지면서, 이들의 성능과 효율성을 측정하는 것이 중요해졌습니다. 이러한 필요에 맞춰, LLM 에이전트의 벤치마킹, 비교, 비용 예측을 돕는 오픈소스 도구 '매버릭(Maverik)'이 공개되었습니다. 매버릭은 웹 시스템의 성능을 측정하는 JMeter처럼, 에이전트의 다양한 구성 요소 변경이 실제 결과에 미치는 영향을 정량적으로 분석할 수 있도록 설계되었습니다.
매버릭은 에이전트 구성(시스템 프롬프트, LLM 모델, 도구 사용 전략 등)을 데이터 형태로 정의하고, 특정 질문 세트에 대해 각 구성의 성능을 측정합니다. 측정 지표에는 전체 응답 시간(wall-clock duration), 입출력 토큰(tokens) 사용량, 정답률(correctness), 그리고 예상 비용(cost)이 포함됩니다. 예를 들어, 새로운 시스템 프롬프트가 더 나은 답변을 제공하는지, 아니면 단순히 비용만 증가시키는지, 특정 LLM(예: Claude Haiku vs. Sonnet)이 시나리오에 적합한지, 도구 호출 병렬화가 에이전트를 더 빠르게 만드는지 등을 정확한 수치로 확인할 수 있습니다. 특히, 모델별 토큰 가격을 설정하여 질문당, 에이전트당, 전체 실행당 예상 비용을 예측할 수 있는 기능은 개발자들에게 매우 유용합니다.
매버릭의 등장은 LLM 에이전트 개발 및 운영 방식에 중요한 변화를 가져올 것으로 예상됩니다. 기존에는 에이전트의 성능 변화를 추측에 의존하거나 수동으로 확인해야 했지만, 이제는 체계적인 벤치마킹을 통해 최적의 에이전트 구성을 찾아낼 수 있게 되었습니다. 이는 개발자들이 더 효율적이고 비용 효과적인 에이전트를 구축하는 데 기여하며, 궁극적으로는 LLM 에이전트 기반 서비스의 품질과 안정성을 향상시키는 데 중요한 역할을 할 것입니다. 또한, 에이전트 구성 변경이 코드 변경이 아닌 데이터 변경으로 이루어지므로, A/B 테스트와 같은 실험이 훨씬 용이해진다는 장점도 있습니다.