앤트로픽(Anthropic)의 초기 직원이었던 룬 크비스트(Rune Kvist)와 AI 안전 연구 기관 METR의 전 최고운영책임자(COO) 라지브 다타니(Rajiv Dattani)가 공동 창업한 AIUC(Artificial Intelligence Underwriting Company)가 기업용 AI 에이전트의 안전성을 검증하는 새로운 표준과 서비스를 선보였습니다. 이들은 리빗 캐피탈(Ribbit Capital)이 주도하고 퍼스트 하모닉(First Harmonic)이 참여한 시리즈 A 라운드에서 4천만 달러를 유치하며, 총 투자금 5천5백만 달러를 확보했습니다. 이는 AI가 고도화될수록 통제와 도입이 어려워진다는 문제 의식에서 출발한 것으로, AI 안전성 확보가 기업의 핵심 과제로 부상하고 있음을 보여줍니다.
AIUC는 사이버 보안 표준인 SOC 2에서 영감을 받아 자체적인 AI 안전 표준인 AIUC-1을 개발했습니다. 이 표준은 약 250명의 보안 및 리스크 관리 전문가들로 구성된 컨소시엄의 피드백을 바탕으로 만들어졌습니다. AIUC는 이 표준에 따라 AI 에이전트가 탈옥(jailbreak), 환각(hallucination), 데이터 유출(data leak)과 같은 시나리오에서 어떻게 작동하는지 약 5,000가지 테스트를 수행합니다. 흥미롭게도 이 테스트 과정 자체에도 AI 에이전트와 AI 분석 기술이 활용되며, 최종 감사 결과는 사람이 검증합니다. 이 과정을 통해 약 100페이지 분량의 상세 보고서가 생성되어, 기업들이 AI 에이전트의 안전성과 신뢰성을 객관적으로 평가하고 구매 결정을 내릴 수 있도록 돕습니다. 이미 커서(Cursor), 러버블(Lovable), 하비(Harvey), 일레븐랩스(ElevenLabs) 등이 AIUC의 고객으로 참여하고 있습니다.
이번 AIUC의 등장은 AI 기술 발전의 이면에 가려진 '안전성'과 '신뢰성' 문제에 대한 업계의 깊은 우려를 반영합니다. 앤트로픽의 CEO 다리오 아모데이(Dario Amodei) 역시 AI 개발 속도 조절과 제3자 평가의 필요성을 강조한 바 있습니다. 은행, 병원, 정부, 군대 등 민감한 데이터를 다루는 조직들은 AI 모델의 성능이 아닌, 통제 불능 위험 때문에 도입을 망설이는 경우가 많습니다. AIUC는 이러한 기업들에게 독립적인 AI 안전성 평가를 제공함으로써, AI 기술이 실제 비즈니스 환경에 안전하게 통합될 수 있는 길을 열어줄 것으로 기대됩니다. 이는 AI 에이전트 시장이 성장함에 따라 필수적인 인프라가 될 것이며, AI 안전성 및 거버넌스(governance) 분야의 새로운 시장을 창출할 잠재력을 가지고 있습니다.