대규모 언어모델(LLM)의 성능을 평가하는 현재 벤치마크 시스템에 심각한 결함이 있다는 연구 결과가 발표되었습니다. 제이슨 Z. 왕(Jason Z Wang)의 논문 '평가 사각지대: 대규모 언어모델 벤치마크 커버리지에 대한 입체학적 이론'에 따르면, 현재의 벤치마크들은 모델의 실제 역량을 충분히 포착하지 못하는 '평가 사각지대'를 가지고 있으며, 이는 상위 모델 간의 순위를 뒤바꿀 정도로 큰 영향을 미치는 것으로 분석됩니다.
이 연구는 LLM 벤치마크 커버리지에 대한 입체학적 이론(stereological theory)을 제시합니다. 세 가지 독립적인 리더보드(Open LLM v2, 12개 벤치마크 확장 스위트, LiveBench)를 분석한 결과, 경쟁 우위에 있는 모델들의 유효 차원(effective dimensionality, d_eff)이 2.86에서 4.80 사이에 머무는 것으로 나타났습니다. 이는 벤치마크가 측정하는 역량의 다양성이 매우 제한적임을 의미하며, 이로 인해 발생하는 구조적 사각지대가 관찰된 2위 모델과의 점수 차이보다 두 자릿수 이상 커서 통계적 노이즈를 52~127배 초과하는 것으로 밝혀졌습니다. 시뮬레이션 결과, 상위 2개 모델의 순위가 바뀔 확률이 38~49%에 달했으며, 무작위로 벤치마크를 절반으로 나눴을 때 92%의 경우에서 1위 모델의 순위가 바뀌고 상위 5개 모델 중 평균 2.83개가 교체되는 현상이 관찰되었습니다. 연구진은 네마우저(Nemhauser) 보장을 갖는 서브모듈러 탐욕 알고리즘(submodular greedy algorithm)을 통해 4개의 벤치마크로 구성된 안정적인 핵심(stable core)을 찾았으며, 12개 중 7개 벤치마크만으로도 90%의 커버리지를 달성할 수 있음을 보였습니다. 또한, 어떤 평가가 필수적인지(-0.69) 그리고 어떤 외부 평가가 새로운 정보를 가져오는지(+0.38) 예측하는 방법을 제시했습니다.
이 연구는 현재 LLM 벤치마크의 한계를 명확히 보여주며, 단순히 높은 점수만으로 모델의 우수성을 판단하기 어렵다는 중요한 시사점을 던집니다. 벤치마크의 '평가 사각지대'는 모델 개발자들이 특정 벤치마크에 과최적화(over-optimization)하게 만들고, 실제 사용 환경에서 필요한 다양한 역량을 간과하게 할 수 있습니다. 따라서 모델 개발자와 사용자 모두 벤치마크 점수를 해석할 때 더욱 신중해야 하며, 모델의 진정한 역량을 평가하기 위한 보다 포괄적이고 다양한 평가 방법론 개발이 시급함을 보여줍니다. 이 연구는 LLM 평가의 신뢰성을 높이고, 모델 개발 방향을 올바르게 이끄는 데 중요한 이론적 토대가 될 것입니다.