최근 AI 안전(AI Safety) 담론의 중심에 있는 엘리에저 유드코프스키(Eliezer Yudkowsky)와 그를 따르는 합리주의 공동체에 대한 비판적인 논평이 나와 논란이 되고 있습니다. SE Gyges는 이 공동체가 '섹스 컬트'와 유사하며, 이들의 종말론적 믿음과 사적인 관계가 AI 정책에 과도한 영향을 미치고 있다고 주장했습니다. 특히 초지능(superintelligence)의 등장, 통제 불능, 인류 멸망이라는 유드코프스키의 서사가 AI 안전 및 정렬(AI Alignment) 논의를 지배하고 있음을 지적합니다.
논평은 버클리(Berkeley)에 위치한 공동 주거 및 행사 공간 '라이트헤이븐(Lighthaven)'에서 연구, 비영리 활동, 그리고 성적 관계가 복합적으로 얽혀 있다고 주장합니다. 불법 성매매 여부는 확인되지 않았지만, 채용, 자금, 조직 내 관계의 중첩을 문제 삼으며, 종말론적 믿음이 돈과 공동체를 유지하는 유인이 될 수 있다고 비판했습니다. 또한, 유드코프스키의 영향력은 OpenAI, DeepMind, Anthropic 등 주요 AI 기업과도 연결되어 있으며, 그의 개념과 용어가 AI 담론 전반에 깊이 뿌리내려 있다고 설명합니다. 예를 들어, Anthropic의 논문들이 여전히 유드코프스키를 인용하고, 'AI 정렬'이라는 용어를 대중화한 곳도 그의 비영리 단체였다는 점을 근거로 들었습니다.
이러한 비판은 AI 안전 논의의 순수성과 객관성에 대한 근본적인 질문을 던집니다. AI 연구 속도를 늦추기 위한 반독점법(antitrust law) 적용 면제 주장에 대해 논평은 제약회사의 카르텔 형성에 비유하며 강하게 반대합니다. 규제의 목표는 연구 속도 자체가 아니라 나쁜 결과를 막고 좋은 결과를 촉진하는 데 초점을 맞춰야 한다고 강조하며, '중단', '일시정지', '감속' 중심의 규제 틀이 유드코프스키의 종교적 집착에서 비롯된 것이라고 비판했습니다. 결국, AI를 만들려는 충동과 AI를 두려워하며 연구 자체를 없애려는 욕구가 이 운동의 중심에서 공존하고 있다는 분석입니다. 이 논란은 AI 기술 발전의 방향과 규제 논의에 있어 다양한 관점과 배경을 이해하는 것이 중요함을 시사합니다.