최근 발표된 연구 논문에서, 인공지능(AI) 커뮤니티가 코딩 대규모 언어모델(LLM)의 성능을 평가하는 방식에 중요한 의문을 제기했습니다. 연구진은 SWE-bench나 LiveCodeBench와 같은 소수의 코딩 벤치마크 점수가 모델의 광범위한 코딩 능력을 나타내는 증거로 과대평가되고 있다고 지적합니다. 이처럼 벤치마크에만 치중한 최적화는 실제 일반적인 코딩 능력 향상보다는 특정 작업에만 특화된 성능을 측정하게 되어, 측정된 점수와 실제 코딩 능력 사이의 의미 있는 격차를 발생시킨다는 것입니다.
연구팀은 이러한 격차를 입증하기 위해 장고(Django) 기반의 새로운 벤치마크 스위트를 개발했습니다. SWE-bench 데이터로 후학습(post-training)된 파운데이션 모델(foundation model)과 체크포인트(checkpoint)들을 평가한 결과, 벤치마크 순위가 다른 작업에서는 일반화되지 않는 경우가 많았습니다. 특히, SWE-bench에 최적화된 모델들이 연구팀의 새로운 장고 기반 작업이나 LiveCodeBench에서는 성능 향상을 거의 보이지 않거나 전혀 보이지 않았습니다. 이는 특정 벤치마크에 대한 미세조정(fine-tuning)이 다른 코딩 작업으로의 전이 학습(transfer learning) 효과가 미미하다는 것을 의미합니다.
이 연구는 소수의 벤치마크만으로는 다양한 모델의 코딩 능력을 제대로 평가하기 어렵다는 결론을 내립니다. 연구진은 AI 커뮤니티에 '차별화된 평가(differentiated evaluation)' 방식을 도입할 것을 제안합니다. 즉, 최첨단 모델에는 전체론적(holistic) 평가를, 연구용 모델에는 다중 작업(multi-task) 스위트를, 그리고 특정 애플리케이션에는 인간 참여(human-in-the-loop) 연구를 활용해야 한다는 것입니다. 또한, 일회성 벤치마크 출시보다는 코딩 능력 분류 체계(capability taxonomy)를 구축하고 벤치마크를 지속적으로 유지 관리하는 노력이 필요하다고 강조했습니다. 신뢰할 수 있는 평가 기준이 없다면, LLM과 에이전트(agent)를 사용하는 엔지니어와 연구자들은 불충분한 증거에 의존하여 중요한 연구, 개발, 배포 결정을 내릴 수밖에 없기 때문입니다.