대규모 언어모델(LLM)의 활용이 늘면서, 어떤 LLM을 언제 사용할지 결정하는 '라우팅(routing)'의 중요성이 커지고 있습니다. 최근 '옴니스벤치(OmnisBench)'라는 새로운 오픈소스 벤치마크가 공개되어, LLM 라우팅 정책의 비용 대비 품질 효율성을 측정하는 새로운 기준을 제시했습니다. 특히, 모델이 학습하지 않은 '신선한(fresh)' 데이터를 사용하여 라우팅의 실제 가치를 평가하는 데 초점을 맞추고 있습니다.
옴니스벤치는 기존 벤치마크인 '라우터벤치(RouterBench)'와 달리, 실시간으로 최신 비용을 반영하고 지속적으로 재평가(re-gradable)할 수 있는 것이 특징입니다. 가장 주목할 만한 결과는 '신선한 분할(fresh split)' 테스트에서 나타났습니다. 15개의 새로운 작업에 대해 '이상적인 오라클(oracle)' 라우팅 정책은 93.3%의 작업 성공률을 보였는데, 이는 가장 강력한 단일 모델(클로드 오푸스-5, Claude Opus-5)을 항상 사용하는 경우의 86.7%보다 높았습니다. 동시에 비용은 단일 모델 사용 대비 약 60% 절감된 것으로 나타나, 라우팅이 품질과 비용 효율성 모두에서 큰 이점을 제공함을 입증했습니다.
이러한 결과는 LLM 활용 전략에 중요한 의미를 가집니다. 기존 벤치마크들이 모델 학습 데이터에 이미 포함된 문제(오염된 데이터)를 사용했을 때는 모든 정책이 거의 100%에 가까운 성공률을 보여 라우팅의 가치를 제대로 평가하기 어려웠습니다. 하지만 옴니스벤치는 '신선한' 데이터를 통해 모델들이 암기하지 않은 문제에서 라우팅이 어떻게 실제 성능과 비용 효율을 개선하는지 명확히 보여줍니다. 이는 LLM을 실제 서비스에 적용할 때 단순히 가장 좋은 모델 하나를 고르는 것이 아니라, 작업의 특성에 따라 최적의 모델을 동적으로 선택하는 라우팅 전략이 필수적임을 시사합니다. 향후 더 넓은 범위의 '신선한' 데이터셋을 확보하고 실제 라우터와 '오라클' 간의 격차를 줄이는 것이 중요한 과제가 될 것입니다.