AI 모델의 코딩 능력 평가는 실제 서비스 배포와 안전성 판단에 직결되는 중요한 과정입니다. 하지만 최근 OpenAI의 감사 결과, 널리 사용되던 코딩 벤치마크인 SWE-Bench Pro의 약 30%가 '깨진(broken)' 상태인 것으로 추정되어 해당 벤치마크의 사용 권고를 철회했습니다. 이는 AI 모델의 실제 역량을 왜곡하여 잘못된 안전성 판단이나 연구 우선순위 설정으로 이어질 수 있다는 심각한 경고입니다.
OpenAI는 기존 SWE-bench Verified의 문제점을 개선하고자 더 긴 작업 범위와 현실적인 코딩 과제를 목표로 SWE-Bench Pro로 전환을 권고한 바 있습니다. 이 벤치마크는 공개 및 비공개 저장소의 기능 변경 이력에서 프로그래밍 방식으로 작업을 추출하며, 모델은 기존 기능을 손상시키지 않으면서 새로운 기능 테스트를 통과하는 솔루션을 구현해야 합니다. 731개 공개 작업에서 프런티어 모델의 통과율이 8개월 만에 23.3%에서 80.3%로 급상승하는 등 놀라운 성과를 보였으나, OpenAI는 이러한 수치를 그대로 믿기 어렵다고 판단했습니다. 감사를 통해 밝혀진 주요 결함 유형으로는 과도하게 엄격한 테스트, 과소명세 프롬프트, 낮은 커버리지 테스트, 그리고 오도하는 프롬프트 등이 있었습니다. 즉, 올바른 제출이 실패하거나 불완전한 수정이 통과하는 등의 문제가 발생한 것입니다.
이러한 문제는 벤치마크 구축의 근본적인 어려움에서 비롯됩니다. 오픈소스 저장소의 이슈와 풀 리퀘스트는 원래 모델 평가가 아닌 인간 협업을 위해 만들어진 것이기 때문에, 문제 설명, 병합된 코드, 단위 테스트가 모델 평가용으로 깨끗하고 독립적인 작업을 항상 구성하지 못합니다. 또한, 풀 리퀘스트에 포함된 테스트는 특정 변경을 검증하기 위해 작성되는 경우가 많아, 구현 방식에 독립적인 해결 기준보다는 특정 구현을 강제할 수 있습니다. OpenAI는 앞으로 더 넓은 평가 커뮤니티가 숙련된 소프트웨어 개발자가 직접 모델 능력 테스트를 목적으로 만든 새로운 벤치마크를 개발해야 한다고 강조하며, 이는 측정하려는 난이도와 현실성을 유지하면서도 과정 전반에서 더 나은 인간 감독을 가능하게 할 것이라고 덧붙였습니다.