최근 약 1,030개의 에이전트 작업 벤치마크에서 Kimi K3와 Fable 5라는 두 대규모 언어모델(LLM)의 성능이 비교되었습니다. 흥미로운 점은 각 모델을 단독으로 사용할 때보다, 작업의 성격에 따라 두 모델 중 더 적합한 모델로 작업을 라우팅(routing)했을 때 전체 정확도가 93%에 달하며 개별 모델 성능을 뛰어넘었다는 사실입니다. 이는 단일 모델에 의존하기보다 여러 모델의 강점을 조합하는 전략이 최적의 성능을 이끌어낼 수 있음을 보여줍니다.
이번 벤치마크는 실제 소프트웨어 엔지니어링(SWE), 터미널, 알고리듬, 다중 언어, 법률 등 5가지 유형의 에이전트 작업을 대상으로 진행되었습니다. Kimi K3와 Fable 5는 종합적인 성능 면에서는 큰 차이를 보이지 않았지만, 세부 작업 영역에서는 각기 다른 강점을 드러냈습니다. 예를 들어 K3는 기호 수학, 개발 도구, 장기 터미널 작업, 법률 분야에서 강세를 보인 반면, Fable은 웹, 데이터 시각화, 다중 언어 코딩(Java, Python, C++)에서 우수했습니다. 특히 K3는 Fable보다 5개 작업군 모두에서 비용 효율적이었으며, 긴 에이전트 루프에서는 최대 50배 높은 비용 효율성을 기록했습니다. 이는 K3의 토큰 가격, 프롬프트 캐싱, 작업별 투입량 관리 방식에서 기인합니다.
이러한 결과는 인공지능(AI) 모델 활용 전략에 중요한 시사점을 제공합니다. 최고 수준의 AI 성능을 얻기 위해서는 단일 제공자의 모델에만 의존하기보다, 각 모델의 특성과 비용 효율성을 고려하여 워크로드에 맞춰 최적의 모델을 선택하고 라우팅하는 방식이 필요하다는 것입니다. 저렴하고 효율적인 Kimi K3와 같은 모델을 기본 선택지로 삼고, 특정 고난도 작업이나 Fable이 강점을 보이는 영역에서는 해당 모델을 활용하는 ‘워크로드 맞춤형 라우터’를 구축한다면 품질과 비용이라는 두 마리 토끼를 모두 잡을 수 있을 것으로 예상됩니다. 다만, 실제 환경에서의 라우터는 오라클 라우팅(정답을 아는 상태에서 최적 모델 선택)과 달리 사전에 모델의 적합도를 예측해야 하므로, 지속적인 학습과 검증이 중요합니다.