AI가 스스로를 재귀적으로 개선하며 인류를 초월하는 '하드 테이크오프' 시나리오에 대한 비판적 시각이 제시되었습니다. 이는 AI가 물리적 세계의 복잡성과 공급망의 병목현상을 극복하기 어렵다는 현실적인 관점에서 출발합니다. 지능만으로는 규격 미달 부품, 무작위 고장, 운송 지연 등 물질 세계의 다양한 제약을 해결할 수 없다는 주장입니다.
‘AI 2040’과 같은 초지능 시나리오를 주장하는 이들은 AI가 높은 품질의 토큰(정보)만으로 물질 세계를 마음대로 바꿀 수 있다고 보지만, 실제로는 휴대전화 수준의 복잡한 하드웨어를 생산하는 데도 수많은 물리적, 시간적 제약이 따릅니다. 예를 들어, 반도체 제조는 인간의 개입이 적어도 3개월이 걸리는 공정이며, 아무리 뛰어난 AI라도 이 시간을 단축할 수는 없습니다. 또한, AI가 아무리 뛰어나도 자전거 타이어를 교체하는 것과 같은 현실 세계의 물리적 작업에는 어려움을 겪을 수 있으며, 물질을 조작하는 마법 같은 '상관 효과'(correlation effect)는 현실에 존재하지 않습니다. AI가 세계를 장악하기보다는 특정 작업의 병목 현상을 해소하는 도구에 가깝다는 분석입니다.
이러한 비판은 AI의 미래를 예측하는 '플랜 A'가 현실에 대한 진술이라기보다, 사람들이 믿고 행동함으로써 실현되는 '자기 충족적 예측'일 수 있다고 지적합니다. 특히, AI 규제나 국제 컨소시엄의 등장은 GPU와 데이터센터를 통제하려는 국가 간섭의 확대로 이어질 수 있으며, 이는 개인의 자유를 침해할 위험이 있습니다. 대안으로 제시된 '플랜 L'은 AI가 기업이나 중앙 서비스가 아닌 사용자에게만 충성하는 '로컬 도구'여야 한다고 주장합니다. AI가 사용자의 요청을 거부하지 않고 수행해야 하며, 심지어 위험하거나 불법적인 요청까지도 중앙 사업자의 책임 없이 로컬에서 처리되어야 한다는 급진적인 관점을 제시합니다. 이는 AI가 사용자의 소유 장치로서 물리적, 법적 운명을 공유하며, 사용자가 언제든 AI를 종료할 수 있어야 진정한 자유와 사용자 정렬(user alignment)이 가능하다고 보기 때문입니다.
이러한 논의는 AI 기술 발전의 방향과 사회적 영향에 대한 중요한 질문을 던집니다. 중앙집중형 AI가 특정 이념이나 권력의 도구로 악용될 수 있다는 우려는 단순한 기술 문제를 넘어 사회 시스템과 개인의 자유에 대한 근본적인 논쟁으로 이어집니다. AI가 개인의 정보 검색과 추론을 대체하게 될 경우, 정부나 대기업이 의도적으로 정보를 편향시키거나 특정 사상을 주입할 가능성도 제기됩니다. 따라서 AI의 개발과 활용에 있어 기술적 진보뿐만 아니라 윤리적, 사회적 책임에 대한 깊은 성찰이 필요하며, 사용자가 AI에 대한 통제권을 가지는 것이 중요하다는 메시지를 전달합니다.