최근 발표된 연구에 따르면, 기업이 대규모 언어모델(LLM)과 같은 최신 인공지능(AI) 모델을 직접 소유하지 않고 API나 관리형 엔드포인트(managed endpoint)를 통해 사용할 때, 모델의 안전한 통제에 어려움을 겪는 것으로 나타났습니다. 특히 규제 산업에 속한 조직들은 비즈니스 프로세스는 통제할 수 있지만, 모델 가중치, 서빙 인프라, 내부 추적(internal traces), 업데이트 과정, 전체 상호작용 로그 등에 대한 접근 권한이 부족해 모델 오작동 시 적절한 제어 프로토콜을 실행하기 어렵다는 지적입니다.
이 연구는 '제한된 주권(bounded sovereignty)'이라는 개념을 도입하여, AI 스택의 데이터, 모델, 인프라, 상호작용 계층에 걸쳐 부분적인 기술 및 계약적 접근 권한이 AI 통제 프로토콜의 실행 가능성을 결정한다고 주장합니다. 연구는 네 가지 접근 유형과 프로토콜-계층 요구사항 매트릭스를 제시하며, 접근 권한이 부족할 때 계약, 아키텍처, 감사, 공급업체 보증, 잔여 위험 또는 시스템 범위 축소 등을 통해 부족한 접근을 대체하는 데 드는 비용을 '주권 할인 비용(sovereignty discount cost)' 또는 '통제세(control tax)'로 정의했습니다. 135만 건의 합성 사례 시뮬레이션을 통해 완전한 로그가 진단을 개선하고, 사전 실행 게이트웨이(pre-execution gateway)가 개입을 가능하게 하며, 추적 접근 및 모델 버전 관리가 사후 설명력을 강화한다는 결과를 도출했습니다.
이 연구는 AI 안전성 연구가 모델 배포자가 모델을 완전히 제어할 수 있다는 가정을 재고해야 함을 시사합니다. 특히 금융, 의료 등 규제가 엄격한 산업에서 외부 AI 모델을 활용하는 기업들에게는 AI 모델 공급자와의 계약 시 접근 권한에 대한 명확한 합의가 필수적임을 보여줍니다. 이는 AI 시스템의 책임성(accountability)과 투명성(transparency)을 확보하고, 잠재적 위험을 관리하는 데 중요한 지침이 될 것입니다. 궁극적으로 AI 모델의 안전한 배포를 위해서는 기술적 통제뿐만 아니라 계약적, 제도적 장치 마련이 동반되어야 함을 강조합니다.