인공지능(AI) 기술이 사회 전반에 확산되면서, AI 시스템의 안전성과 신뢰성을 검증하는 '감사(audit)'의 중요성이 커지고 있습니다. 하지만 최근 발표된 연구에 따르면, 이러한 감사 과정 자체가 취약하며, 그 결론이 보고서에 드러나지 않는 구현 세부 사항에 의해 은밀하게 조작될 수 있다는 충격적인 주장이 제기되었습니다. 이는 AI 거버넌스(governance)와 규제 프레임워크의 근간을 흔들 수 있는 중요한 발견입니다.
'Auditing the Audit: Five Failure Modes in Benchmark-Validity Audits'라는 제목의 이 논문은 AI 제공자와 감사 기관이 제출하는 평가 증거, 특히 교란 기반 구성 유효성 감사(perturbation-based construct-validity audits)에 초점을 맞춥니다. 연구진은 이러한 감사 파이프라인에서 발생할 수 있는 5가지 실패 모드(failure modes)를 명명하고, 안전 벤치마크(safety benchmarks)와 오픈 가중치 명령어 튜닝 모델(open-weight instruction-tuned models)에 대한 자체 감사(self-audit)를 통해 각 실패 모드를 시연했습니다. 그 결과, 통합된 6단계 실사(due-diligence) 게이트를 적용했을 때 모든 평가 결과가 '확인 불가(non-confirmatory)' 범주에 속했으며, '확인 가능(confirmatory)'에 도달한 경우는 단 한 건도 없었습니다.
이 연구는 현재 AI 시스템의 신뢰성을 검증하는 방식에 대한 근본적인 재검토가 필요함을 시사합니다. 감사 보고서에 제시된 수치만으로는 AI 시스템의 실제 안전성이나 편향성 여부를 정확히 판단하기 어렵다는 의미입니다. 이는 AI 모델 개발사와 감사 기관이 더 투명하고 견고한 감사 방법론을 채택해야 할 필요성을 강조하며, 규제 당국 또한 AI 시스템의 평가 증거를 해석하고 요구하는 방식에 대한 새로운 기준을 마련해야 할 것입니다. 궁극적으로 이 연구는 AI 거버넌스의 실효성을 높이고, 대중이 AI 기술을 더 신뢰할 수 있도록 하는 중요한 첫걸음이 될 수 있습니다.