대규모 언어모델(LLM)의 성능을 평가하는 방식에 대한 근본적인 의문이 제기되었습니다. 최근 아카이브(arXiv)에 발표된 논문 '평가 점수는 소멸성 지식 주장이다(Evaluation Scores Are Perishable Knowledge Claims)'에 따르면, 자동화된 지표, LLM 기반 평가, 인간 평가 등 여러 신호를 단순히 평균하여 LLM 성능을 평가하는 현재 방식이 실제보다 높은 신뢰도를 부여할 수 있다고 지적합니다. 연구진은 이를 '평가에서의 신뢰 인플레이션(trust inflation in evaluation)' 현상이라고 명명하며, 가장 약한 평가 신호의 신뢰도에 맞춰 전체 평가의 신뢰도를 조정해야 한다고 주장합니다.
연구진은 LLM 평가 점수를 형식(formality), 범위(scope), 유효 기간(validity windows)의 세 가지 속성을 가진 '인식론적 주장(epistemic claims)'으로 다뤄야 한다고 제안합니다. 예를 들어, 인간 평가는 자동화된 지표보다 더 강력한 증거를 제공하고(형식), 특정 벤치마크 결과는 테스트된 데이터 분포에만 적용되며(범위), 데이터 오염과 분포 변화로 인해 벤치마크 결과는 시간이 지나면 만료될 수 있다(유효 기간)는 것입니다. 이들은 이러한 속성을 평가 결과에 명시적인 메타데이터로 포함하여 투명성을 높여야 한다고 강조합니다. 또한, 여러 연구 전통을 바탕으로 '가장 약한 연결고리(weakest-link)' 방식의 집계가 더 보수적이고 신뢰할 수 있는 평가 방법임을 제시합니다.
실제로 연구진은 공개된 HELM 리더보드에서 54개 최신 모델의 10가지 시나리오를 분석한 결과, 단순 평균 점수와 가장 약한 연결고리 방식으로 순위를 매겼을 때 상위 5개 모델이 완전히 달라지는 현상을 발견했습니다. 이는 현재의 LLM 평가 방식이 모델의 실제 성능이나 신뢰도를 정확히 반영하지 못할 수 있음을 시사하며, LLM 개발자와 사용자 모두에게 중요한 함의를 가집니다. 앞으로 LLM 평가 방법론은 단순히 높은 점수를 추구하기보다는, 평가 결과의 맥락과 한계를 명확히 제시하는 방향으로 발전해야 할 것입니다.