앤트로픽(Anthropic)의 최신 대규모 언어모델(LLM) 클로드 오푸스 5(Claude Opus 5)가 실제 소프트웨어 개발 환경을 모방한 새로운 코딩 벤치마크 '슬롭코드벤치(SlopCodeBench)'에서 이전 모델들보다 나은 성능을 보였으나, 전반적인 합격률은 여전히 낮은 수준에 머물렀습니다. 이는 현재의 AI 코딩 에이전트들이 복잡하고 장기적인 소프트웨어 프로젝트를 사람의 개입 없이 독립적으로 완수하기에는 아직 한계가 있음을 보여줍니다.
슬롭코드벤치(SlopCodeBench)는 위스콘신-매디슨 대학교(UW Madison) 연구팀이 개발한 벤치마크로, 기존 코딩 벤치마크들이 문제를 한 번에 모두 공개하는 것과 달리, 실제 개발처럼 여러 '체크포인트(checkpoint)'를 통해 점진적으로 요구사항을 추가하는 방식입니다. 모델은 새로운 요구사항에 맞춰 기존 코드를 수정하고 발전시켜야 하며, 이전 체크포인트의 오류가 다음 체크포인트로 이어지는 '엄격한 합격(strict pass)' 기준을 적용합니다. 이 벤치마크에서 오푸스 5는 테스트된 17개 체크포인트 중 4개(24%)를 통과하여, 오푸스 4.8과 소네트 5(Sonnet 5)가 각각 1개(6%)를 통과한 것에 비해 기술적으로 우위를 보였습니다. 하지만 '최종 체크포인트까지 결함 없이 도달'이라는 기준으로 보면 모든 모델이 실패했습니다.
이번 결과는 현재의 대규모 언어모델(LLM)이 복잡한 소프트웨어 엔지니어링 작업, 특히 한 번에 하나의 문제를 해결하며 코드를 점진적으로 발전시켜야 하는 상황에서는 사람의 지속적인 개입(steering) 없이는 신뢰하기 어렵다는 점을 명확히 보여줍니다. 또한, 오푸스 5가 이전 모델들보다 더 많은 함수와 호출 가능 항목(callables)을 생성하는 등 코드의 복잡성과 장황함이 증가하는 경향도 관찰되었습니다. 이는 모델이 문제를 해결하기 위해 코드를 확장하는 과정에서 '코드 스멜(code smell)'을 유발할 수 있음을 시사하며, 단순히 더 많은 코드를 생성하는 것이 항상 더 나은 해결책은 아니라는 점을 보여줍니다. 결국, 더 높은 비용을 지불하는 모델이 더 나은 정확도를 제공하지만, 현재로서는 충분한 수준의 정확도를 보장하지 못한다는 결론에 도출됩니다.