대규모 언어모델(LLM)의 발전 속도가 빨라지면서, 이 모델들의 성능을 평가하는 벤치마크(benchmark)의 역할과 형태도 함께 진화하고 있습니다. 기존에는 주로 모델의 순위를 매기는 데 초점을 맞췄지만, 최근 연구자들은 LLM이 무엇을 할 수 있어야 하는지, 그리고 어떤 성능을 성공으로 간주하는지에 대한 기대치가 변화하고 있습니다. 이러한 변화는 LLM 평가 방식의 다양성 증가로 이어지고 있습니다.
독립 연구자 차오 왕(Chao Wang)은 2022년 1월부터 2026년 8월까지 arXiv에 제출된 14,767편의 논문을 분석하여 LLM 벤치마크 설계의 변화를 체계적으로 매핑했습니다. 이 연구는 대상 시스템과 도메인, 평가 자료 및 조건, 채점 메커니즘의 변화를 면밀히 살펴보았습니다. 분석 결과, 벤치마크들이 '행동(action)', '상호작용(interaction)', 그리고 '전문적인 애플리케이션(professional applications)'에 점점 더 큰 비중을 두는 것으로 나타났습니다. 이는 LLM이 단순히 텍스트를 생성하는 것을 넘어, 실제 환경에서 복잡한 작업을 수행하고 사용자와 능동적으로 소통하는 능력에 대한 요구가 커지고 있음을 시사합니다.
흥미로운 점은 LLM 기반 채점 방식이 에이전트(agent) 및 비에이전트(non-agent) 그룹 모두에서 증가하고 있다는 것입니다. 이는 AI가 테스트를 구성하고, 작업을 수행하며, 응답을 판단하는 과정에 직접 참여하는 경향이 강해지고 있음을 의미합니다. 하지만 모델이 생성한 자료를 평가에 활용하는 방식은 아직 지속적인 증가세를 보이지 않고 있습니다. 이러한 변화는 AI가 평가 과정의 주체로 부상하면서, 평가의 독립성과 객관성이 유지될 수 있는지에 대한 중요한 질문을 제기합니다. 즉, 확장되는 평가 방식이 더 독립적인 증거를 제공할 것인지, 아니면 참여 모델들의 선호도와 맹점을 재생산할 위험을 안고 있는지에 대한 고민이 필요합니다.