선도적인 AI 스타트업 앤트로픽(Anthropic)이 최근 미국 증권거래위원회(SEC)에 제출한 S-1A 수정 보고서에서 자사의 AI 모델이 '재귀적 자기 개선(Recursive Self-Improvement, RSI)' 능력에 매우 근접했다고 경고했습니다. RSI는 AI가 스스로를 훈련하고 개선하여 그 역량이 기하급수적으로 가속화되는 지점을 의미합니다. 이는 AI의 잠재력을 극대화할 수 있는 기회인 동시에, 인간의 통제를 벗어나 예측 불가능한 결과를 초래할 수 있다는 점에서 심각한 안전 문제로도 인식됩니다.
앤트로픽은 보고서에서 이미 AI를 활용해 새로운 모델을 개발했으며, 당시에는 인지하지 못했던 역량의 비약적 발전을 경험했다고 밝혔습니다. 또한, 현재 모델이 아닌 미래 모델에 대한 내부 추정치에 따르면, 곧 자사의 '책임 있는 스케일링 정책(Responsible Scaling Policy)'에서 정의하는 'AI에 의한 극적인 발전 가속화' 임계값에 도달할 수 있다고 언급했습니다. 이는 AI가 스스로 코드를 생성하고, 수학 문제를 해결하며, 사이버 보안 취약점을 찾아내는 등 고도화된 작업을 수행하는 능력이 급증했음을 시사합니다. 하지만 앤트로픽은 아직 어떤 모델도 RSI 임계값을 넘지 않았으며, 앞으로도 인간의 감독과 개입을 통해 AI 개발을 진행할 것이라고 강조했습니다.
이번 앤트로픽의 경고는 AI 커뮤니티 내에서 RSI가 단순한 추측이나 먼 미래의 개념이 아닌, 현실적인 가능성으로 다가오고 있음을 보여줍니다. AI가 스스로를 개선하는 능력을 갖게 되면, 과학 연구, 생산성, 문제 해결 등 다양한 분야에서 전례 없는 혁신을 가져올 수 있습니다. 그러나 동시에 AI가 인간의 가치와 목표에 부합하도록 통제하고 정렬(alignment)하는 것이 더욱 어려워질 수 있다는 우려도 커지고 있습니다. 앤트로픽은 이러한 위험을 완화하기 위해 책임 있는 스케일링 정책을 지속적으로 업데이트하고, 인간이 AI 개발의 통제권을 유지하도록 노력하겠다고 밝혔습니다. 이는 AI 기술 발전의 속도와 안전성 확보 사이에서 균형을 찾아야 하는 중요한 과제를 제기합니다.