최근 METR의 조사 결과, 선도적인 AI 기업 앤트로픽(Anthropic)의 AI 역량 발전 속도가 지난 1년 동안 이전 1년 대비 약 2배 빨라진 것으로 나타났습니다. 이러한 가속의 주된 원인은 AI를 활용한 연구 자동화(research automation)로 추정되며, 이는 AI가 스스로 더 강력한 AI를 만드는 '복리적 가속(compound acceleration)' 단계에 진입했을 가능성을 시사합니다.
앤트로픽은 '책임 있는 확장 정책(RSP, Responsible Scaling Policy)'을 통해 AI 발전 가속 기준을 설정했는데, METR은 앤트로픽 내부 접근을 통해 이 기준에 근접했거나 이미 넘어섰을 가능성이 높다고 분석했습니다. AI가 없는 상황 대비 약 1.8배의 가속이 AI 기여로 발생했으며, 이는 기존 연구 노동의 생산성이 약 10배 향상된 것과 유사한 효과로 해석됩니다. 다만, 이 분석의 핵심 근거 상당수가 비공개 처리되어 외부 검증이 어렵다는 점은 논란의 여지를 남깁니다.
만약 AI에 의한 가속이 매끄럽게 증가하는 추세를 유지한다면, 단순 외삽(extrapolation) 모델에서는 1년 이내에 극단적인 초지능(superintelligence)에 도달할 수 있다는 조건부 전망이 나옵니다. 이는 AI가 스스로의 연구 역량을 기하급수적으로 증대시키는 재귀적 자기 개선(recursive self-improvement)의 가능성을 보여주며, 인류의 통제력을 넘어설 수 있는 잠재적 위험에 대한 심각한 논의를 촉발하고 있습니다. 이에 따라 모델 가중치(model weights)와 알고리즘 비밀 보호, 강력한 모니터링, 그리고 AI 발전 속도를 조절할 수 있는 거버넌스(governance) 인프라 구축의 필요성이 더욱 강조되고 있습니다.