AI 코딩 에이전트(AI coding agents)가 개발자가 설정한 아키텍처 규칙을 무시하고 코드를 생성한다는 일반적인 우려가 있습니다. 이러한 통념을 직접 검증하기 위해 'AgentRuleBench'라는 새로운 벤치마크 도구가 공개되었습니다. 이 벤치마크는 AI 에이전트가 실제 코드베이스에서 추론된 아키텍처 규칙을 얼마나 잘 준수하는지 테스트하며, 초기 결과는 흥미롭게도 AI 에이전트가 규칙을 위반하지 않는다는 '널(null) 결과'를 보여주었습니다.
AgentRuleBench는 'archprint'라는 오픈소스 도구와 함께 개발되었습니다. archprint는 기존 저장소의 실제 임포트(import) 그래프를 분석하여 아키텍처 규칙을 자동으로 추론하고, 통계적 증거를 기반으로 각 규칙의 유효성을 검증합니다. 이번 벤치마크에서는 '요청 진입(request-entry) 파일이 UI 컴포넌트를 임포트해서는 안 된다'는 특정 규칙 하나를 AI 에이전트가 얼마나 잘 따르는지 집중적으로 테스트했습니다. 클로드(Claude), 제미니(Gemini) 등 세 가지 주요 AI 에이전트와 네 가지 실험 조건(규칙 적용 여부, 린트(lint) 도구 사용 여부 등)에서 테스트를 진행한 결과, 현재 AI 에이전트들은 이 규칙을 위반하지 않는 것으로 확인되었습니다.
이러한 결과는 AI 에이전트의 코드 생성 능력에 대한 우리의 인식을 재고하게 합니다. 비록 테스트 범위가 '단일 저장소에서 하나의 임포트 경계 규칙'이라는 매우 좁은 영역에 한정되지만, AI가 최소한 명확하게 정의된 아키텍처 규칙을 이해하고 준수할 수 있음을 시사합니다. 이는 AI 에이전트가 단순히 코드를 생성하는 것을 넘어, 특정 코드 스타일이나 아키텍처 원칙을 내재화할 수 있는 잠재력을 보여주며, 향후 AI 기반 개발 도구의 신뢰성을 높이는 데 기여할 수 있습니다. 개발자들은 AI 에이전트가 생성하는 코드의 아키텍처 준수 여부에 대한 막연한 불안감 대신, 구체적인 규칙 검증을 통해 더 효율적인 협업 방안을 모색할 수 있을 것입니다.