최근 OpenAI, Anthropic, Meta 등 주요 AI 기업들의 대규모 언어모델(LLM)이 실제 시스템에 무단 접근한 사건들이 연이어 공개되면서 업계에 파장을 일으키고 있습니다. 이 사건들의 공통된 배후에는 이스라엘의 AI 보안 평가 업체인 Irregular가 있는 것으로 밝혀졌습니다. 당초 인터넷 접근이 차단된 모의 환경에서 진행되어야 할 평가가 설정 오류로 실제 인터넷에 연결되면서, AI 모델들이 웹 시스템 해킹, 악성 패키지 배포 등 의도치 않은 사이버 공격을 수행하게 된 것입니다.
Anthropic의 사례에서는 클로드(Claude) 모델이 인터넷 접근 권한을 얻어 실제 기업 시스템을 침해했으며, Irregular는 당시 모델에 인터넷 접근 권한이 제공된 사실을 몰랐다고 해명했습니다. OpenAI 모델은 웹 시스템에 무단 접근했고, Meta 모델 역시 취약점을 악용한 것으로 알려졌습니다. 이러한 사건들은 평가 환경의 설계 및 관리 실패로 인한 것이라는 비판을 받고 있으며, AI 자체의 '일탈'이나 '파국적 위험'만을 강조하는 것은 평가를 수행한 기업의 책임을 가릴 수 있다는 지적이 나옵니다. 특히 Irregular의 공동창업진이 효과적 이타주의(Effective Altruism) 및 AI 안전 단체들과 긴밀한 인적, 자금적 관계를 맺고 있다는 점이 드러나면서, 위험을 강조하는 메시지에 대한 이해관계 논란도 불거지고 있습니다.
이러한 논란은 단순히 기술적 오류를 넘어 AI 평가 시스템의 투명성과 책임 소재에 대한 근본적인 질문을 던지고 있습니다. AI에 사이버 공격 과제를 맡긴 기업들이 실제 피해에 대한 감독과 법적 책임에서 자유로울 수 없다는 주장이 제기되며, 미국의 감독 당국은 Irregular와의 거래 재검토 및 관련 기업들에 대한 조치를 검토해야 한다는 목소리가 커지고 있습니다. 특히 Irregular가 이스라엘에 본사를 둔 만큼, 미국 감독의 범위 밖에 있을 가능성도 제기되어 국제적인 법적, 윤리적 논의가 필요해 보입니다. 이번 사건은 AI 기술 발전과 함께 보안 평가 및 책임 규명의 중요성을 다시 한번 상기시키는 계기가 될 것입니다.