클라우디쉬(Cloudish)가 AI 코딩 에이전트의 웹 애플리케이션(Web Application) 구축 및 클라우드 배포 능력을 평가하는 새로운 벤치마크 'AI 디플로이 벤치(AI Deploy Bench)'를 발표했습니다. 이 벤치마크는 AI 에이전트가 주어진 사양에 따라 웹 앱을 개발하고, 이를 클라우드 환경에 성공적으로 배포하는 과정을 종합적으로 측정합니다. 이는 AI 기반 개발의 실제 적용 가능성과 효율성을 객관적으로 보여주는 중요한 시도입니다.
이번 벤치마크는 앤스로픽(Anthropic)의 클로드 코드(Claude Code)를 활용하여 정적 사이트, CRUD 앱, API, 대시보드, 실시간 채팅 등 다섯 가지 유형의 앱을 구축하고, 클라우디쉬(Cloudish), 디지털오션(DigitalOcean), 렌더(Render), 버셀(Vercel) 등 네 가지 주요 클라우드 플랫폼에 배포합니다. 성공 여부, 빌드 및 배포 시간, 사용된 토큰(Tokens) 수, 에이전트 비용, 호스팅 비용, 보안 및 규정 준수 점수, 그리고 사람이 개입해야 하는 단계와 시간까지 세밀하게 측정됩니다. 모든 과정은 깃허브 액션(GitHub Actions)에서 자동화되어 실행되며, 결과는 'aideploybench.com' 웹사이트에서 상세히 확인할 수 있습니다.
이 벤치마크는 AI 코딩 에이전트가 단순한 코드 생성 단계를 넘어, 실제 운영 가능한 애플리케이션을 구축하고 배포하는 전반적인 개발 수명 주기(SDLC)에 얼마나 깊이 관여할 수 있는지를 보여줍니다. 개발자들은 이를 통해 특정 클라우드 환경에서 AI 에이전트의 성능을 예측하고, AI 도입 전략을 수립하는 데 필요한 객관적인 데이터를 얻을 수 있습니다. 또한, AI 에이전트 개발사들은 자사 모델의 강점과 약점을 파악하여 개선 방향을 모색하는 데 활용할 수 있어, AI 기반 소프트웨어 개발 생태계 전반의 발전을 가속화할 것으로 기대됩니다.