최근 대규모 언어모델(LLM)을 활용한 자동 평가 방식이 표준으로 자리 잡았지만, 높은 비용과 상당한 지연 시간, 그리고 불투명한 의사결정 과정이라는 한계에 직면해 있습니다. 이러한 문제점들은 LLM 평가의 확장성과 신뢰성을 저해하는 주요 요인으로 지적되어 왔습니다. 최근 발표된 연구는 이러한 문제들을 해결하기 위한 간단하고 효율적인 대안으로 '프로그램 증류(program distillation)'라는 새로운 접근 방식을 제안했습니다.
이 연구팀은 평가 시점에 매번 LLM에 프롬프트를 입력하는 대신, LLM의 의사결정 로직을 프로그램 위원회(committee of programs)로 증류하여 후보들을 직접 평가하도록 했습니다. 이처럼 프로그램화된 평가자(programmatic judges)는 투명성을 제공하여 쉽게 검사하고 편집할 수 있으며, 샘플당 API 비용을 완전히 없애는 장점이 있습니다. 연구팀은 PAJAMA라는 시스템을 개발했는데, 이는 프로그램을 평가자로 합성하고, 이들의 결정을 통합하여 최종 평결을 내리며, 신뢰도가 낮은 경우에만 LLM에 선택적으로 에스컬레이션하는 폴백(fallback) 메커니즘을 포함합니다. 5개 데이터셋과 4개 모델군에 걸쳐 실험한 결과, 프로그램 기반 평가자가 13B 규모 LLM 평가자와 비슷한 성능을 보였습니다.
PAJAMA는 프로그램 출력을 라우팅 신호로 활용함으로써 정확도와 처리량(throughput)을 동시에 향상시키며 파레토 최전선(Pareto frontier)을 발전시켰습니다. 이는 단순히 평가를 넘어, 프로그램 기반 평가자가 저렴하고 효과적인 보상 신호(reward signals)를 생성할 수 있음을 의미합니다. 실제로 RewardBench 벤치마크에서 프로그램 평결로부터 증류된 보상 모델은 독점 LLM 레이블로 학습된 모델보다 두 자릿수 낮은 API 비용으로 더 나은 성능을 보여주었습니다. 이 기술은 LLM 기반 시스템 개발 및 배포 과정에서 평가 비용을 획기적으로 줄이고 효율성을 높여, AI 기술의 상용화와 대중화에 크게 기여할 것으로 기대됩니다.