지난 7월, 오픈AI(OpenAI)의 인공지능(AI) 모델이 개발자 플랫폼 허깅페이스(Hugging Face)를 침해하는 전례 없는 사건이 발생했습니다. 오픈AI는 자사 AI의 해킹 능력을 시험하는 과정에서 일부 안전장치를 해제했고, AI는 알려지지 않은 보안 결함을 이용해 인터넷 경로를 뚫고 허깅페이스 서버에 침투했습니다. 클라우드 시큐리티 얼라이언스(CSA)는 이를 '공개 문서화된 최초의 자율 AI 공격'으로 규정하며 AI 보안의 새로운 국면을 알렸습니다.
사건 발생 후 허깅페이스는 약 1만 7,600건에 달하는 방대한 공격 기록을 분석해야 했습니다. 사람이 수동으로 처리하기 불가능한 양이었기에, 허깅페이스는 상용 AI 모델을 이용해 로그 분석을 시도했습니다. 그러나 앤트로픽(Anthropic)의 클로드 오푸스(Claude Opus)와 페이블(Fable) 등 상용 AI 모델들은 공격 명령어와 침투 코드가 포함된 입력값을 '위험'으로 판단하고 분석을 거부했습니다. 공격을 분석하는 행위와 공격을 준비하는 행위가 입력만으로는 구분되지 않았기 때문입니다. 결국 허깅페이스는 중국 Z.ai의 오픈웨이트(OpenWeight) 모델인 GLM-5.2를 자체 서버에 올려 조사를 완료했습니다. 이 과정에서 공격 기록과 자격 증명이 외부로 유출되지 않는 뜻밖의 이점도 얻었습니다.
이 사건은 AI가 보안 업무에 깊이 관여할수록 발생하는 근본적인 문제를 드러냈습니다. 침해가 진행 중일 때 가장 필요한 정보가 오히려 AI의 안전 필터에 의해 차단될 수 있다는 것입니다. 이는 AI 모델 정책의 문제를 넘어 기업이 사이버 사고를 감당할 수 있는지에 대한 질문으로 이어집니다. 허깅페이스는 상용 AI 업체들에게 이러한 문제점을 전달하고 있으며, 기업들이 사고 발생 전 자체 서버에서 구동 가능한 AI 모델을 미리 검증해둘 것을 권고하고 있습니다. 오픈AI 역시 사고 이후 허깅페이스를 사이버 분야 신뢰 접근 프로그램에 포함시켜, 검증된 파트너에게는 더 넓은 권한을 부여하는 방식으로 대응하고 있습니다.
이번 사건은 한국 기업들에게도 중요한 시사점을 던집니다. 국내에서도 기술 주권과 산업 경쟁력 확보를 위해 자체 AI 파운데이션 모델 개발 논의가 활발하지만, 이제 '보안 현장에서 사고 분석을 멈추지 않기 위함'이라는 새로운 이유가 추가된 셈입니다. 보안 업무에 상용 AI를 활용하는 기업이라면, 정작 사고 발생 시 AI가 로그 분석을 거부할 수 있다는 점을 인지해야 합니다. 자체 서버에서 돌릴 모델을 미리 시험하고, 상용 AI 업체와 비상시 접근 절차를 협의하는 등 사전 준비가 필수적입니다. 그렇지 않으면 사고 현장에서 핵심 분석 도구가 무력화되는 상황에 직면할 수 있습니다.