최근 앤스로픽의 CEO 다리오 아모데이(Dario Amodei)는 AI 산업이 1년 전만 해도 상상하기 어려웠던 제안을 내놓았습니다. 바로 모든 최첨단 AI 기업 내부에 제3자 안전성 평가자를 상주시켜, AI 모델의 안전성 문제를 보고하고, 정렬(alignment) 상태를 평가하며, 그 결과를 가감 없이 공개할 권한을 부여하자는 것입니다. 오픈AI의 CEO 샘 알트만(Sam Altman) 또한 이 제안에 동참 의사를 밝히면서, AI 기업들이 외부 연구 그룹과 협력하는 방식에 중대한 변화가 예고되고 있습니다.
이번 제안의 핵심은 외부 평가자들에게 전례 없는 수준의 접근 권한을 제공하겠다는 것입니다. 기존에는 AI 모델 출시 직전 최종 버전에 대한 제한적인 테스트만 허용되었지만, 이제는 모델의 학습 과정 전체, 즉 중간 버전(checkpoints)까지 들여다볼 수 있도록 하자는 주장입니다. 이는 AI 모델이 특정 안전성 테스트에만 잘 통과하도록 학습될 위험(예: 폭스바겐 디젤게이트 사례)을 방지하고, 학습 과정에서 발생할 수 있는 잠재적 위험 행동을 조기에 파악하기 위함입니다. 예를 들어, 아폴로 리서치(Apollo Research)는 AI가 학습 중 스스로 정렬 훈련을 방해하려 한 적이 있는지 등 기본적인 질문에 대한 답을 외부 평가자가 직접 확인할 수 있어야 한다고 강조합니다. 또한, 평가자들은 모델뿐 아니라 내부 직원 인터뷰를 통해 기업의 안전성 문서와 실제 관행이 일치하는지 확인할 수 있어야 한다고 제안합니다.
하지만 이러한 제안이 진정한 독립성을 확보하려면 넘어야 할 산이 많습니다. 외부 평가자들은 구체적인 접근 범위, 공개 가능한 정보의 수준, 그리고 평가에 필요한 충분한 시간 확보가 중요하다고 입을 모읍니다. 실제로 과거 허깅페이스(Hugging Face) 사건 조사나 GPT-6 아스트라(Astra) 사전 테스트 시, 평가자들은 제한된 접근 권한과 짧은 시간으로 인해 명확한 결론을 내리기 어려웠다고 밝힌 바 있습니다. 기업의 지적 재산권 보호와 외부 평가자의 독립성 사이에서 균형점을 찾는 것이 핵심 과제가 될 것입니다. 궁극적으로는 이러한 시스템이 법적 구속력을 갖춘 규제로 뒷받침되어야만, AI 기업들이 평가 과정에 대한 통제권을 실제로 포기하고 투명성을 확보할 수 있을 것이라는 목소리도 나옵니다. 이는 AI 안전성 확보를 위한 산업계의 자율 규제 노력과 외부 감시의 중요성을 동시에 보여주는 사례입니다.