최근 공개된 클로드(Claude)의 최신 대규모 언어모델(LLM)인 Opus 5가 새로운 장기 코딩 벤치마크 'SlopCodeBench'에서 17개 체크포인트 중 단 4개만 엄격 통과하며, AI 모델의 지속적인 코드 개발 및 유지보수 능력에 대한 한계를 드러냈습니다. 이는 일회성 문제 해결을 넘어 실제 소프트웨어 개발 환경에서 요구되는 점진적이고 누적적인 코드 발전 능력을 평가하는 중요한 지표입니다.
SlopCodeBench는 기존 벤치마크와 달리 요구사항을 여러 체크포인트로 나눠 순차적으로 공개하며, 모델은 이후 추가될 요구사항을 모르는 상태에서 기존 코드를 계속 발전시켜야 합니다. '엄격 통과(strict pass)'는 새로운 기능 테스트뿐만 아니라 이전 체크포인트에서 물려받은 모든 회귀 테스트까지 통과해야 인정됩니다. Opus 5는 24%의 엄격 통과율을 기록하며 Opus 4.8과 Sonnet 5의 6%보다 높았지만, 세 모델 모두 쉬움·중간·어려움 문제에서 마지막 체크포인트까지 결함 없이 도달하지 못했습니다. 특히 Opus 5는 Opus 4.8보다 함수·호출 가능 단위를 5배, 프로덕션 코드를 약 1.8배 많이 작성했지만, 모든 모델에서 진행할수록 복잡도, 장황함, 코드 냄새(code smell)가 증가하는 경향을 보였습니다.
이러한 결과는 현재의 AI 코딩 모델이 단일 문제 해결에는 강하지만, 실제 소프트웨어 개발에서 필수적인 장기적인 코드베이스 유지보수성에는 아직 미치지 못함을 시사합니다. 개발자가 지속적으로 개입하지 않고 AI에 코드베이스 전체를 맡기기에는 신뢰도가 부족하다는 의미입니다. SlopCodeBench와 같은 반복 개발 벤치마크에서 모델이 80% 이상의 엄격 통과율을 기록해야 무인 실행에 대한 신뢰가 크게 높아질 수 있다는 분석은, 향후 AI 코딩 모델이 나아가야 할 방향을 제시합니다. 또한, 상위 모델이 초기 단계를 구현한 뒤 작은 모델에 후속 작업을 넘겨 유지보수성을 평가하는 방식 등 새로운 평가 개선점들이 제안되어, AI 코딩 모델의 실제 개발 현장 적용 가능성을 높이기 위한 연구가 계속될 것으로 보입니다.