AI 코딩 에이전트의 성능을 실제 보안 샌드박스 환경에서 측정하는 새로운 벤치마크 도구 '바운더리-벤치(Boundary-Bench)'가 공개되었습니다. 이 도구는 에이전트가 기업 및 미국 국립표준기술원(NIST) 기준의 강화된 보안 정책이 적용된 환경에서 얼마나 효율적으로 작동하고, 기능 손실이 발생하는지를 평가합니다. 이는 실제 기업 환경에 AI 에이전트를 도입할 때 발생할 수 있는 잠재적 위험과 성능 저하를 미리 파악하는 데 중요한 역할을 합니다.
바운더리-벤치는 터미널-벤치(Terminal-Bench) 2.1의 89가지 코딩 작업을 활용하며, 에이전트는 데이토나(Daytona) 샌드박스 내에서 실행됩니다. 모델 추론은 오픈라우터(OpenRouter)를 통해 이루어지고, 작업 및 공식 검증은 하버(Harbor)에서 제공됩니다. 특히, 네트워크 접근 제한, 파일 시스템 읽기 전용 설정, 권한 축소 등 리눅스(Linux)의 네이티브 제어 기능을 사용하여 다양한 수준의 보안 정책을 적용할 수 있습니다. 예를 들어, '하이-NIST(High-NIST)' 정책은 엄격한 네트워크 허용 목록, 읽기 전용 운영체제 및 홈 디렉터리, 그리고 권한 에스컬레이션(privilege escalation) 방지 기능을 포함합니다. 현재 리더보드에서는 그록 빌드(Grok Build), 코덱스 GPT-5.6 솔(Codex GPT-5.6 Sol), 클로드 코드 페이블 5(Claude Code Fable 5) 등의 에이전트가 성공률과 비용 측면에서 경쟁하고 있습니다.
이 벤치마크는 AI 코딩 에이전트의 실제 적용 가능성을 높이는 데 크게 기여할 것입니다. 단순히 코딩 능력만을 평가하는 것을 넘어, 실제 운영 환경에서 필수적인 보안 및 안정성 요소를 고려하여 에이전트의 신뢰도를 측정하기 때문입니다. 기업들은 바운더리-벤치를 통해 특정 보안 정책 하에서 어떤 에이전트가 가장 효율적이고 안전하게 작동하는지 객관적인 데이터를 얻을 수 있으며, 이는 AI 에이전트 도입 결정에 중요한 참고 자료가 될 것입니다. 또한, 에이전트 개발자들은 자신의 모델이 실제 환경에서 어떤 제약 사항에 부딪히는지 파악하고 개선하는 데 활용할 수 있어, 더욱 견고하고 실용적인 AI 코딩 에이전트 개발을 촉진할 것으로 기대됩니다.