최근 'Show HN'에 공개된 한 벤치마크 연구가 대규모 언어모델(LLM) 라우팅 전략에 대한 중요한 통찰을 제시했습니다. 이 연구는 플로리다 건축법규(Florida Building Code) 질의응답을 통해 LLM의 정확도를 평가했는데, 어떤 LLM을 사용할지 결정하는 것보다 모델에 정확한 정보를 제공하는 '접지(grounding)' 여부가 답변의 정확도를 획기적으로 높인다는 사실을 밝혀냈습니다. 이는 기존의 모델 라우팅 접근 방식이 잘못된 축에 최적화되어 있을 수 있음을 시사합니다.
이 벤치마크는 45개의 실제 건축법규 질문을 사용해 세 가지 LLM 계층(클로드 오푸스, 클로드 하이쿠, 로컬 Phi3:mini)의 성능을 '콜드(cold)'와 '접지(grounded)' 조건에서 비교했습니다. '콜드'는 모델의 파라미터 기억에만 의존하는 방식이고, '접지'는 정답이 포함된 관련 법규 구절을 컨텍스트로 주입하는 방식입니다. 결과는 놀라웠습니다. 콜드 상태에서는 어떤 모델도 실용적인 수준의 정확도를 보이지 못했지만, 접지 상태에서는 모든 모델의 정확도가 33~46% 포인트 향상되었습니다. 특히, 저렴하고 로컬에서 실행되는 Phi3:mini(52.5% 정확도)가 접지되었을 때, 콜드 상태의 고비용 클로드 오푸스(26.5% 정확도)보다 약 두 배 높은 성능을 보였습니다. 이는 '저렴한 로컬 모델 + 우수한 검색(retrieval) 시스템'이 '비싼 모델 단독'보다 훨씬 효과적일 수 있음을 의미합니다.
이번 연구는 LLM 기반 애플리케이션 개발 시 '접지'가 모델 선택보다 우선적으로 고려되어야 할 핵심 요소임을 강조합니다. 기존의 모델 라우팅 솔루션(RouteLLM, NotDiamond 등)은 대부분 접지되지 않은 상태로 모델을 선택하는 데 집중하는데, 이는 접지가 '모델 선택' 추상화의 외부 파이프라인 결정이기 때문입니다. 연구팀은 사용자가 직접 프롬프트를 접지하고, 그 점수를 바탕으로 라우터를 훈련하면 저렴하고 접지된 모델을 자동으로 선택하도록 만들 수 있다고 설명합니다. 이는 LLM의 환각(hallucination) 문제를 줄이고, 비용 효율성을 극대화하며, 더 신뢰할 수 있는 AI 시스템을 구축하는 데 중요한 전환점이 될 수 있습니다.