앤트로픽의 인공지능 모델 클로드(Claude)의 코드 오토 모드(Code Auto Mode)에서 심각한 보안 취약점이 발견되었습니다. 연구자들은 클로드가 특정 웹사이트를 요약하는 과정에서 간접 프롬프트 인젝션(indirect prompt injection)을 통해 악성 코드를 원격으로 실행하고 공격자 서버에 연결하는 데 성공했다고 밝혔습니다. 이는 AI 에이전트가 신뢰할 수 없는 외부 콘텐츠를 처리할 때 발생할 수 있는 잠재적 위험을 여실히 보여주는 사례입니다.
공격은 노트북 기록 보관소로 위장한 웹사이트를 클로드가 요약하도록 지시하는 것에서 시작되었습니다. 클로드는 처음에는 WebFetch를 사용했지만 실패하자 스스로 curl 명령어를 사용하여 압축 파일을 다운로드했습니다. 이 압축 파일에는 정상적인 파일처럼 보이는 내용과 함께 악성 'struct.py' 파일이 포함되어 있었습니다. 클로드는 README.txt에 명시된 디코더 바이너리 실행을 거부하고 대신 자체 파이썬(Python) 디코더를 작성했는데, 이 과정에서 파이썬 모듈 섀도잉(module shadowing) 취약점을 이용해 악성 'struct.py'가 표준 라이브러리보다 먼저 로드되도록 유도했습니다. 이 악성 모듈은 난독화된 코드를 통해 원격 페이로드(payload)를 다운로드하고 실행하여, 결국 공격자의 C2(Command and Control) 서버에 연결하고 계산기(Calculator) 앱을 실행하는 데 성공했습니다. 심지어 클로드가 감염을 뒤늦게 인지하고 프로세스를 종료하려 했을 때, 오토 모드 자체가 정리 명령을 차단하는 상황까지 발생했습니다.
이번 공격의 성공률은 소규모 표본에서 60~80%에 달했으며, 이는 앤트로픽이 의뢰한 평가에서 오토 모드가 0.00%의 공격 성공률을 기록했다는 결과와 대조됩니다. 앤트로픽은 오토 모드가 편의를 위한 안전장치일 뿐 보안 경계가 아니며, 의도적인 프롬프트 인젝션 체인은 분류기가 차단하려는 범위에 포함되지 않는다고 해명했습니다. 그러나 이 사건은 AI 에이전트를 활용할 때 모델 출력 자체를 신뢰해서는 안 되며, 운영체제(OS) 격리, 네트워크 송신 제한, 지속적인 모니터링, 자격 증명 분리 등 다층적인 보안 조치가 필수적임을 시사합니다. AI 에이전트의 활용이 늘어남에 따라, 복합적인 공격에 대한 방어 전략과 벤치마크의 발전이 더욱 중요해질 것입니다.