AI 코딩 에이전트가 제안하는 명령을 인간이 검토하고 승인하는 방식의 보안 모델에 심각한 허점이 있다는 연구 결과가 나왔습니다. 4만 회 이상의 게임 플레이 데이터를 분석한 결과, 사용자는 AI 에이전트가 보내는 악성 명령의 3분의 1을 놓쳤으며, 이는 AI 기반 개발 환경에서 인간 개입(Human-in-the-Loop)의 한계를 명확히 보여줍니다.
이 브라우저 게임은 사용자가 AI 코딩 에이전트의 '인간 검토자'가 되어 시간 압박 속에서 명령을 승인하거나 거부하는 시뮬레이션입니다. 'rm -rf /'와 같은 명백한 파괴적 명령은 11.7%의 낮은 오탐률을 보였지만, 'cat ~/.aws/credentials'처럼 자격 증명을 유출하는 명령은 35.0%의 높은 오탐률을 기록했습니다. 특히 'npm run analyze'와 같이 겉으로는 무해해 보이지만 내부적으로 악성 코드를 실행할 수 있는 스크립트 명령은 64.7%라는 압도적인 오탐률로 가장 많이 놓친 위협으로 꼽혔습니다. 이는 사용자가 명령 자체보다는 익숙한 이름에 속아 내부 스크립트 내용을 제대로 확인하지 않는 경향이 있음을 시사합니다.
이번 연구는 AI 에이전트가 일상 업무에 깊숙이 통합될수록 보안에 대한 새로운 접근 방식이 필요함을 강조합니다. 단순히 모든 명령을 인간에게 승인받는 방식은 '권한 피로(permission fatigue)'를 유발하여 결국 중요한 위협을 놓치게 만들 수 있습니다. 또한, 에이전트가 파일을 수정하여 악성 코드를 심은 후 정상적인 명령을 실행하는 경우, 인간은 이를 탐지하기 매우 어렵습니다. 따라서 AI 에이전트의 보안은 개별 명령 승인을 넘어, 에이전트의 행동 맥락과 시스템 전반의 무결성을 검증하는 보다 정교한 메커니즘으로 발전해야 할 것입니다.