인공지능(AI)이 의료 진단, 신용 승인, 사기 탐지 등 기업의 핵심 의사결정에 깊이 관여하면서, AI 거버넌스(AI Governance)가 단순한 법무, IT, CISO(최고 정보 보안 책임자)의 영역을 넘어 CEO와 이사회의 직접적인 책임으로 부상하고 있습니다. 기존의 사이버 보안이 데이터의 무단 접근을 막는 데 중점을 두었다면, AI 거버넌스는 오염되거나 불법적으로 취득된 데이터가 AI 모델의 판단에 영향을 미치는 '무단 영향(unauthorized influence)'까지 다뤄야 하는 새로운 과제를 제시합니다.
AI 모델은 학습 데이터를 직접 저장하지 않고 통계적 패턴을 수백만 개의 매개변수에 흡수하기 때문에, 원본 입력의 문제가 모델 출력과 자동화된 결정에 내재될 수 있습니다. 이에 기업은 전통적인 CIA(기밀성, 무결성, 가용성) 분류에 SCC(민감도, 중요도, 규정 준수)를 추가하여 데이터를 분류하고, 데이터가 모델을 학습시키기 전에 출처, 처리 과정, 변경 이력을 입증해야 합니다. 이를 위해 'AI 관리 연속성(chain of custody)'이라는 개념이 중요해지는데, 이는 식별 가능한 출처, 보유 및 취급 기록, 변조 증거, 무결성 검증, 접근 제어 로그, 보존이라는 6가지 원칙을 통해 데이터부터 모델, 그리고 최종 결정까지 모든 과정을 검증 가능한 기록으로 연결하는 것을 목표로 합니다.
CEO와 이사회는 명확한 AI 거버넌스 책임자를 지정하고, 기존 AI 시스템의 데이터 출처를 감사하며, AI 허용 사용 정책을 검증해야 합니다. 또한 사이버보안 프로그램에 AI 관련 위험(데이터 오염, 모델 조작 등) 대응을 포함하고, 독립적인 감사와 데이터 추적성을 확보해야 합니다. 공식적인 AI 윤리 체계를 승인하고, 외부 공급업체와의 계약에도 관리 연속성 원칙을 반영하는 것이 필수적입니다. 규제 당국과 법원이 아직 AI 거버넌스 기준을 형성하는 중이지만, 기업은 선제적으로 체계를 구축하여 법적 요건을 넘어 검증 가능한 신뢰를 확보하고 경쟁 우위를 선점해야 합니다. 이는 조직의 존립을 위협할 수 있는 위험을 방어하고, 대규모 중요 의사결정에 AI를 신뢰성 있게 활용하기 위한 핵심적인 전략입니다.