최근 AI 모델 활용에 있어 비용 효율성과 성능을 동시에 잡는 새로운 접근 방식이 주목받고 있습니다. 저렴한 결정 모델(decision model)인 Jev를 1차로 활용하고, Jev가 판단하기 어려워하는 불확실한 사례만 고성능 대규모 언어모델(LLM)인 Opus에 넘겨 재검토하는 하이브리드 방식이 성공적인 결과를 보여주었습니다. 이 전략은 고객 기록의 '과도한 병합(over-merging)' 오류를 판별하는 작업에서 Opus 단독 사용 대비 75%의 비용 절감 효과를 가져오면서도, 정확도는 거의 동일하게 유지했습니다.
이번 실험은 합성 데이터(synthetic data)를 활용해 진행되었으며, 쉬운 테스트 환경에서 Jev는 전체 고객 기록 중 22%만을 Opus로 재검토하도록 선별했습니다. 그 결과, 98.8%의 정확도를 기록했는데, 이는 Opus 단독 사용 시의 99.0%에 근접하는 수치입니다. 비용 측면에서는 1,000건당 3.86달러가 들었던 Opus 단독 방식과 비교해 0.88달러로 크게 줄었습니다. 이처럼 효율적인 결과의 핵심은 Jev가 자신의 오답을 신뢰도 50% 부근에 집중시키는 '신뢰도 보정(confidence calibration)' 능력이 뛰어났기 때문입니다. 반면, 다른 모델인 GPT-6 Luna는 틀린 사례에도 높은 확신을 보여 재검토 대상을 선별하기 어려웠습니다. 어려운 테스트 환경에서도 Jev 조합은 기준 변경 없이 더 많은 사례를 Opus에 넘겨 정확도 95.3%를 유지하며 비용을 1,000건당 5.39달러에서 2.94달러로 절감했습니다.
이러한 하이브리드 접근 방식은 단순히 비용 절감을 넘어, AI 모델 활용 전략에 중요한 시사점을 던집니다. 모든 작업에 최고 성능의 비싼 모델을 사용할 필요 없이, 작업의 난이도와 중요도에 따라 여러 모델을 조합하여 최적의 효율을 낼 수 있음을 보여줍니다. 특히 고객 식별(identity resolution, IDR)과 같이 데이터의 정확성이 중요한 분야에서, 사람의 수작업 검토 속도가 시간당 약 50건에 불과하고 1,000건이 넘는 표본이 필요한 상황에서, AI 모델 조합은 수초 내 10만 건을 평가할 수 있는 잠재력을 제공합니다. 이는 IDR 설정의 반복 주기를 단축하고 유지보수를 용이하게 하여 기업의 운영 효율성을 크게 향상시킬 수 있습니다. 앞으로 이러한 하이브리드 모델 전략은 다양한 산업 분야에서 복잡한 의사결정 및 데이터 처리 작업의 새로운 표준이 될 것으로 기대됩니다.