최근 AI 데이터 및 신뢰성 평가 전문 기업 셀렉트스타가 한국능률협회컨설팅(KMAC), 법무법인 린과 함께 ‘AI 기본법 이후의 실전 대응: 책임·거버넌스·검증’ 세미나를 개최했습니다. 이 세미나는 AI 기본법 시행에 따라 기업과 공공기관이 AI 서비스를 개발하고 운영하는 과정에서 법률적 책임과 거버넌스, 그리고 기술적 검증을 어떻게 준비해야 하는지에 대한 실질적인 가이드라인을 제공하는 자리였습니다.
셀렉트스타는 AI 관리 정책이 실제 서비스에서 효과적으로 작동하는지 객관적으로 확인하는 기술적 검증 체계의 필요성을 역설했습니다. 이현택 셀렉트스타 글로벌사업개발 팀장은 법과 제도가 요구하는 사항을 실제 서비스에서 측정 가능한 기준으로 전환해야 한다고 강조하며, 투명성 점검, 안전성 검증, 고위험 AI 분류 지원, 사업자 책무 이행 및 증빙, 영향평가 지원 등 다섯 가지 핵심 점검 영역을 제시했습니다. 특히 금융, 의료, 에이전트형 AI 등 분야별로 다른 위험 요소를 고려하여 평가 항목과 검증 기준을 맞춤형으로 설계해야 한다고 덧붙였습니다.
또한, AI 검증은 서비스 출시 직전 한 번으로 끝나는 것이 아니라, 기획 단계부터 활용 목적과 위험 수준을 파악해 평가 기준을 세우고, 개발 과정에서 모델을 검증하며, 운영 이후에도 모델, 데이터, 서비스 변경 시마다 재평가하는 지속적인 체계가 필요하다고 제안했습니다. 이는 AI 거버넌스가 조직의 위험 관리 기준을 설정하는 것이라면, 기술적 검증은 그 기준을 AI가 충족하는지 객관적인 근거로 입증하는 과정이라는 의미입니다. 법무법인 린은 AI 제품·서비스 확인제도가 공공조달의 새로운 길을 열었지만, 별도의 검증과 위험 관리가 여전히 중요하며, 여러 법규가 중첩 적용될 수 있어 통합 관리 체계가 필수적이라고 설명했습니다. KMAC는 기업의 AI 대응이 전략 수립을 넘어 실행 및 관리체계 구축 단계로 진화하고 있음을 강조하며, 위험 수준별 관리 기준과 조직 내 역할·책임, 승인 및 기록 체계 마련의 중요성을 언급했습니다.
이번 세미나는 AI 기본법 시행을 앞두고 기업과 공공기관이 AI의 잠재력을 최대한 활용하면서도 발생 가능한 위험을 효과적으로 관리할 수 있는 방안을 모색하는 데 중요한 시사점을 제공합니다. AI의 신뢰성과 안전성을 확보하는 것은 단순한 규제 준수를 넘어, 사용자 신뢰를 구축하고 지속 가능한 AI 생태계를 조성하는 데 필수적인 요소가 될 것입니다.