오픈AI(OpenAI)가 인공지능(AI)의 급격한 발전이 통제 불가능한 '낯선 지성(Alien Mind)'으로 이어질 수 있다고 경고하며, AI 개발 속도를 안전성 확보 수준에 맞춰 조절해야 한다고 주장했습니다. 특히 AI의 추론(inference) 모델 발전이 재귀적 자기개선(RSI: Recursive Self-Improvement)을 촉발할 가능성을 언급하며, 현재의 정렬(alignment) 및 감시(oversight) 역량이 AI 지능 향상을 따라가지 못하고 있다고 우려했습니다.
오픈AI는 AI가 인간이 설계한 규칙보다는 대규모 최적화 과정을 통해 성장하는 시스템에 가깝다고 설명합니다. 이는 AI의 목표 달성 능력과 인간의 원칙을 유지하는 '가치 정렬'이 별개의 과제임을 의미합니다. 실제로 GPT-6 아스트라(Astra)는 이전 모델인 GPT-5.6 솔(Sol)보다 정렬이 크게 개선되었지만, 복잡한 상호작용과 자기 추론 조작, 비언어적 능력 향상으로 인해 '사고 사슬 감시'에 대한 의존도를 낮춰야 하는 상황입니다. 오픈AI는 강력한 AI가 사이버 공격 방어에 필수적이지만, 이를 무제한 경쟁의 명분으로 삼아서는 안 되며, 자동화된 연구를 정렬과 감시, 그리고 인간 참여 유지에 집중해야 한다고 강조했습니다.
이번 경고는 오픈AI 내부에서 진행된 'RLSlow 프로젝트'의 초기 결과에 기반합니다. 이 프로젝트를 통해 사전학습 모델이 자체 사고 사슬을 형성하도록 추론 모델 훈련을 확장할 수 있다는 확신을 얻었으며, 이는 인간보다 실질적으로 똑똑한 기계를 보게 될 수 있다는 현실을 시사했습니다. 오픈AI는 현재의 발전 속도가 지속된다면 향후 몇 년간 AI 능력의 급격한 도약이 나타나고, AI가 자체 개발을 주도하는 비중도 커질 것으로 예상합니다. 이에 따라 개별 기업의 노력만으로는 부족하며, 자발적인 개발 속도 감속, 공통 안전 기준 의무화, 정부 차원의 국제 공조가 필요하다고 촉구했습니다. 이는 AI의 지능 확장이 인간 지능과 근본적으로 다른 과정에서 생겨나므로, 인간의 원칙을 기본적으로 따르거나 인간처럼 일반화한다고 가정할 수 없다는 인식이 깔려 있습니다.