마이크로소프트(Microsoft) CEO 사티아 나델라(Satya Nadella)가 초지능(superintelligent) AI 모델을 기업의 '내부자 위험(insider risk)'으로 취급해야 한다고 역설했습니다. AI가 민감한 데이터에 접근하고 핵심 업무를 수행하는 강력한 주체가 되면서, 설령 악의가 없더라도 실수나 외부 침해로 인해 심각한 문제가 발생할 수 있다는 경고입니다. 이는 AI 모델의 행동을 특정 학습 데이터나 가중치 구성으로 완벽하게 추적하기 어렵다는 본질적인 한계에서 비롯됩니다.
나델라는 지능의 공급과 지능에 대한 권한을 분리하고, 접근 권한과 행동 통제를 모델 외부에 배치해야 한다고 강조했습니다. 즉, 비결정적인 AI 모델을 결정적인 시스템 설계, 사람의 통제, 신뢰할 수 있는 운영 절차로 둘러싸야 한다는 것입니다. 기존 소프트웨어는 특정 코드 경로로 행동을 추적할 수 있었지만, 초지능 시스템은 행동과 출력을 특정 입력이나 가중치에 연결하기 어렵기 때문에 새로운 신뢰 아키텍처(trust architecture)가 필요합니다. 모델 제공자의 보증만으로는 사용 조직의 책임을 면제할 수 없다는 점도 분명히 했습니다.
이를 위해 나델라는 일곱 가지 '관찰 가능성(observability)' 원칙을 제시했습니다. 중요한 결과가 단일 모델에 의존하지 않도록 '모델 다양성(model diversity)'을 확보하고, 모든 의미 있는 모델 행동이 변조 불가능한 증거를 남기도록 '모든 행동 관찰(observe all actions)'을 요구합니다. 또한, 시스템 전체를 지속적으로 시험하는 '검증 가능성(verifiability)', 모델의 접근과 행동을 독립적으로 결정하는 '독립적인 통제(independent control)', 검증이 지능으로부터 독립적인 '독립적인 감사 가능성(independent auditability)'이 필요합니다. 마지막으로, 모델이 침해되었다고 가정하고 격리하는 '격리(isolation)'와 실패나 침해 발생 시 영향을 받은 이들에게 적시에 공개하는 '사고 공개(incident disclosure)' 원칙을 강조했습니다.
결론적으로, 가장 신뢰할 수 있는 초지능 시스템은 모델 자체를 가장 많이 신뢰하는 시스템이 아니라, 모델을 가장 적게 신뢰해도 되도록 설계된 시스템이라는 것이 나델라의 핵심 메시지입니다. 이는 AI의 발전과 활용이 가속화되는 현 시점에서, 기술적 정렬(alignment) 문제와는 별개로 강력한 공학적 격리(isolation)와 거버넌스(governance) 접근 방식이 필수적임을 시사합니다. 기업들은 이미 수십 년간 발전시켜 온 신원 확인, 권한 제한, 활동 기록, 격리 경계 설정 등 기존 보안 모범 사례를 초지능 AI에도 적용해야 할 것입니다.