앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei) CEO가 최첨단 인공지능(AI) 모델에 대해 미국 연방항공청(FAA)과 같은 수준의 의무 안전 검증을 도입해야 한다고 주장했습니다. 그는 6월 10일 공개한 에세이 'AI 발전에 대응하기 위한 정책 제언(Policy on the AI Exponential)'에서 AI 기술 발전 속도가 정책과 제도의 변화 속도를 훨씬 앞지르고 있다고 진단하며, 기존의 투명성 중심 접근 방식만으로는 더 이상 충분하지 않다고 강조했습니다.
아모데이 CEO는 AI를 자동차, 항공기, 의약품처럼 잘못 설계되거나 운영될 경우 다수의 인명에 위협을 줄 수 있는 기술에 비유했습니다. 그는 자사 모델인 클로드 미토스 프리뷰(Claude Mythos Preview)가 전문가 수준의 사이버보안 과제를 성공적으로 수행하고 기업 네트워크 공격 시뮬레이션을 해결한 사례를 들며, 프런티어 모델이 금융, 핵심 인프라, 국가 안보를 위협할 수 있는 수준에 도달했음을 경고했습니다. 이에 따라 일정 연산량 이상의 AI 모델에 대해 사이버보안, 생물무기, AI 통제력 상실, 위험 가속 자동화 연구개발 등 네 가지 핵심 위험 영역에 대해 자격 있는 제3자가 의무적으로 시험하고 감사해야 하며, 수용 불가능한 위험이 확인될 경우 정부가 모델 배포를 차단하거나 되돌릴 수 있는 권한을 가져야 한다고 제안했습니다.
이번 제안은 AI의 잠재적 위험에 대한 업계 리더의 깊은 우려를 보여주며, AI 규제 논의에 중요한 전환점이 될 수 있습니다. 특히 한국의 'AI 기본법'이 진흥에 무게를 두고 최소한의 규제를 지향하는 것과 달리, 아모데이 CEO의 제안은 최첨단 모델 개발사를 겨냥한 강력한 규제와 정부의 개입을 포함하고 있어 주목됩니다. 다만, 일각에서는 이러한 의무 시험 요건이 이미 역량을 갖춘 대형 기업에 유리하게 작용하여 신생 기업의 진입을 어렵게 할 수 있다는 '규제 포획' 비판도 제기되고 있습니다. 이는 AI 기술 발전과 안전 규제 사이의 균형을 어떻게 잡을 것인가에 대한 지속적인 논의를 촉발할 것으로 보입니다.