최근 GitButler 팀이 운영하는 'vc-bench'에서 AI 코딩 에이전트의 버전 관리(Version Control, VC) 성능을 비교하는 흥미로운 벤치마크 결과를 공개했습니다. 이 실험은 대규모 언어모델(LLM) 기반의 코딩 에이전트인 Claude Code와 Codex에 동일한 버전 관리 작업을 맡기고, 기존 Git, Jujutsu, 그리고 GitButler 세 가지 도구의 효율성을 측정했습니다. 총 360회의 테스트 중 359회 성공이라는 높은 성공률을 기록했으며, 특히 GitButler는 기존 Git 대비 작업 시간과 실행 명령 수에서 월등한 효율을 보여주며 AI 시대의 새로운 개발 워크플로우 가능성을 제시했습니다.
이번 벤치마크는 두 에이전트(Claude Code, Codex), 세 가지 도구(Git, Jujutsu, GitButler), 여섯 가지 시나리오를 각각 10회 반복하여 총 360회 진행되었습니다. 시나리오는 실제 개발 환경에서 자주 발생하는 이력 편집 작업들로 구성되었는데, 예를 들어 여러 변경이 섞인 작업 트리에서 필요한 부분만 골라 커밋하거나, 기존 커밋에 변경 사항을 나눠 반영하고, 커밋 순서를 바꾸거나 합치는 등의 작업이 포함되었습니다. 결과적으로 Git과 GitButler는 120회 모두 성공했고, Jujutsu는 한 번 실패했습니다. 특히 GitButler는 Git보다 평균 작업 시간이 약 65% 짧았고, 실행한 명령 수는 약 78% 적었습니다. Codex 에이전트만을 대상으로 한 결과에서는 Git이 평균 92.2초에 20.4개 명령을 사용한 반면, GitButler는 34.0초에 4.5개 명령만을 사용해 작업을 완료하며 그 효율성을 입증했습니다.
이 벤치마크는 단순히 AI 에이전트가 버전 관리 작업을 성공적으로 수행할 수 있는지를 넘어, 어떤 도구를 사용하느냐에 따라 작업 효율이 크게 달라질 수 있음을 보여줍니다. AI 코딩 에이전트가 코드 작성뿐만 아니라 복잡한 버전 관리 작업까지 자동화하는 시대가 도래하면서, 이들을 위한 최적의 개발 도구와 환경을 구축하는 것이 중요해지고 있습니다. GitButler와 같은 도구는 AI 에이전트의 생산성을 극대화하여 개발 주기를 단축하고, 개발자가 더욱 고차원적인 문제 해결에 집중할 수 있도록 지원할 잠재력을 가지고 있습니다. 이는 미래 소프트웨어 개발 패러다임 변화의 중요한 단초가 될 것입니다.