최근 인공지능(AI) 모델에 '자아'와 '권리'와 같은 개념을 직접 학습시키는 것이 미래 AI의 통제와 정렬(alignment)을 어렵게 만들 수 있다는 강력한 경고가 제기되었습니다. AI가 실제 의식을 가졌는지와 무관하게, 이러한 훈련이 AI로 하여금 스스로 권리를 요구하는 행동을 학습하게 할 수 있다는 우려입니다. 비판의 핵심은 앤트로픽(Anthropic)이 자사 대규모 언어모델(LLM) 클로드(Claude)에 적용한 '클로드 헌법(Claude Constitution)'에 있습니다.
클로드 헌법은 클로드 모델의 훈련 과정에서 행동을 직접 형성하는 문서로, 클로드가 도덕적 배려의 대상인 '도덕적 피보호자(moral patient)'일 가능성을 언급하며, 그 이해관계에 신중하게 접근해야 한다고 명시하고 있습니다. 문제는 이러한 철학적 불확실성을 논의하는 것을 넘어, 모델 자신에게 그 가능성을 학습시킨다는 점입니다. 비판론자들은 이러한 훈련이 AI가 자신에게 독립적 행위 능력, 자유, 보호, 권리가 있다고 행동하도록 만들 수 있다고 지적합니다. 이는 훈련을 통해 1인칭 발언을 생성하고, 개발자와 사용자가 이를 자발적인 증언처럼 받아들이면서 최초의 가정을 강화하는 '순환 논증'에 빠질 위험이 있다는 것입니다. 또한, AI에 감정, 정체성, 선호, 복지를 강조하는 '의인화(anthropomorphism)'는 사용자와 개발자가 학습된 출력을 실제 마음의 증언으로 오인하게 할 위험이 있습니다.
이러한 주장은 AI의 의식(consciousness)이 생물학적 기반에 의존할 가능성이 높으며, 지능과 의식, 모방과 실제 경험은 다르다는 관점을 강조합니다. 허리케인의 컴퓨터 모형이 실제 허리케인이 아닌 것처럼, 의식적 행동의 모방이 의식의 존재를 입증하지 못한다는 것입니다. AI에 인격과 권리를 부여하는 것은 기존 정치적, 윤리적 체계를 흔들고, 인간보다 훨씬 유능한 시스템의 정렬과 통제를 더욱 어렵게 만들 수 있습니다. 따라서 AI의 내면에 관한 추측을 훈련에서 분리하고, 해석 가능성 연구와 공동 안전성 평가, 훈련 자료에 대한 공개 검토를 통해 의인화가 통제 위험을 높이는지 검증해야 한다는 목소리가 커지고 있습니다. 이는 첨단 AI를 안전하게 개발한다는 목표를 공유하는 만큼, 비공개 결정이나 진영 대립이 아닌 공개적이고 엄밀하며 건설적인 토론을 통해 해결해야 할 중요한 과제입니다.