최근 앨런 AI(Allen AI) 연구팀이 대규모 언어모델(LLM)의 성능 평가 방식에 대한 근본적인 질문을 던지는 새로운 프레임워크 벤치MIRT(BenchMIRT)를 발표했습니다. 이들은 기존 벤치마크들이 LLM의 실제 추론 능력보다는 표면적인 패턴 매칭이나 암기된 지식을 측정하는 경향이 있다고 지적하며, LLM이 특정 작업을 잘 수행하는 이유가 무엇인지 더 깊이 있게 분석해야 한다고 주장합니다.
벤치MIRT는 심리측정학에서 사용되는 현대 문항 반응 이론(MIRT: Modern Item Response Theory)을 LLM 평가에 적용한 것이 특징입니다. 이 프레임워크는 단순히 정답률을 넘어, LLM이 문제의 어떤 측면(예: 지식, 추론, 언어 이해) 때문에 정답을 맞히거나 틀리는지 다차원적으로 분석합니다. 예를 들어, 특정 문제가 복잡한 추론을 요구하는지, 아니면 특정 사실을 알고 있는지를 평가하여, 모델이 실제 지능을 발휘하는지 아니면 훈련 데이터에서 본 패턴을 반복하는지에 대한 통찰을 제공합니다. 이는 기존 벤치마크들이 흔히 겪는 '데이터 오염(data contamination)' 문제, 즉 모델이 훈련 과정에서 이미 답을 본 적이 있어 실제 추론 없이 정답을 맞히는 현상을 탐지하는 데도 도움을 줍니다.
이번 연구는 LLM 개발자와 사용자 모두에게 중요한 시사점을 던집니다. 현재의 벤치마크 점수만으로는 모델의 진정한 강점과 약점을 파악하기 어렵다는 점을 명확히 보여주기 때문입니다. 벤치MIRT와 같은 정교한 평가 도구의 등장은 LLM의 발전 방향을 재고하고, 더 신뢰할 수 있으며 실제 문제 해결 능력을 갖춘 AI 모델을 개발하는 데 필수적인 전환점이 될 것입니다. 앞으로 LLM의 성능 평가는 단순한 점수 경쟁을 넘어, 모델이 '어떻게' 문제를 해결하는지에 대한 깊이 있는 이해를 요구하게 될 것입니다.