새로운 코드 인텔리전스 및 하네스(harness) 도구인 벤지(Benzi)가 버그 수정 벤치마크에서 앤트로픽(Anthropic)의 클로드 코드(Claude Code)를 포함한 다른 주요 도구들을 능가하는 인상적인 결과를 발표했습니다. 벤지는 더 적은 소스 코드 라인을 읽고 더 낮은 비용으로 버그를 해결하며, 개발자들이 실제 문제를 해결하는 데 있어 효율성을 크게 높일 수 있음을 시사합니다.
벤치는 세 가지 주요 방식으로 성능을 측정했습니다. 첫째, 24개의 깃허브(GitHub) 이슈를 10개 언어로 해결하는 버그 수정 벤치마크에서 벤지는 클로드 코드보다 훨씬 적은 소스 코드 라인을 읽고도 문제를 해결했습니다. 예를 들어, 24개 버그 전체에서 벤지 소넷(Benzi Sonnet)은 9,125라인을 읽은 반면, 클로드 코드 소넷(Claude Code Sonnet)은 43,598라인을 읽었습니다. 둘째, SWE-bench 검증 테스트에서는 500개의 실제 이슈 중 78.2%를 건당 10센트 미만의 비용으로 해결하는 놀라운 성과를 보였습니다. 셋째, 코드그래프(CodeGraph)의 코드 인텔리전스와 비교했을 때도 벤지의 AI 기반 코드 인텔리전스가 우위를 점했습니다. 특히, 버그 수정 비용 측면에서도 벤지 딥시크(Benzi DeepSeek)는 24개 버그 해결에 총 2.66달러가 소요된 반면, 클로드 코드 소넷은 39.54달러가 들어 비용 효율성에서 압도적인 차이를 보였습니다.
이러한 결과는 대규모 언어모델(LLM) 기반의 코드 도구들이 실제 개발 환경에서 얼마나 효율적으로 작동할 수 있는지를 보여주는 중요한 지표입니다. 벤지와 같은 도구는 개발자들이 버그를 진단하고 수정하는 데 드는 시간과 비용을 획기적으로 줄여줄 수 있으며, 이는 개발 생산성 향상으로 직결됩니다. 특히, 낮은 비용으로 높은 해결률을 보이는 벤지의 성능은 스타트업이나 소규모 개발팀에게도 매력적인 솔루션이 될 수 있습니다. 앞으로 이러한 AI 기반 코드 인텔리전스 도구들이 소프트웨어 개발 프로세스 전반에 걸쳐 더욱 깊이 통합될 것으로 예상됩니다.