최근 미국에서 인공지능(AI)의 안전과 잠재적 멸종 위험에 대한 논의가 활발한 가운데, 이 담론을 주도하는 인물과 기관들이 '합리주의 커뮤니티'라는 특정 집단과 깊이 얽혀 있다는 사실이 드러나 주목받고 있습니다. AI 멸종 경고의 타당성 여부와는 별개로, 이들의 판단과 감독 체계가 과연 독립적이고 객관적인지 면밀히 검토해야 한다는 목소리가 커지고 있습니다.
이 합리주의 커뮤니티는 'LessWrong'이라는 온라인 포럼을 중심으로 형성되었으며, '해리 포터와 합리성의 방법(HPMOR)' 같은 팬픽션과 '세속적 동지제(Secular Solstice)' 같은 공동 의례를 통해 독특한 문화를 발전시켰습니다. 이들은 AI 연구소, 안전 기관, 자선 재단 등 주요 AI 관련 조직에 진출하며 인적 네트워크와 자금망을 구축했습니다. 특히 MIRI(Machine Intelligence Research Institute)의 설립자 엘리에저 유드코프스키(Eliezer Yudkowsky)는 정규 교육 없이 AI 위험을 경고하며 커뮤니티의 구심점 역할을 했고, 옥스퍼드 대학교의 닉 보스트롬(Nick Bostrom) 같은 학자들도 이들과 연계되어 AI 위험 논의를 학문적 영역으로 확장했습니다. 이들의 '영웅적 책임(heroic responsibility)'이라는 개념은 AI 재앙을 막는 것이 개인의 궁극적 책임이라는 인식을 공유하게 했습니다.
이러한 배경은 AI 안전 논의의 투명성과 독립성에 대한 중요한 질문을 던집니다. 내부자의 선의에만 의존하기보다는, 공개적이고 강제력 있는 이해충돌 규칙, 내부 고발자 보호, 그리고 독립적인 연구 재현이 필요하다는 지적입니다. 최근 앤트로픽(Anthropic) 연구원의 퇴사 경고와 METR의 이해충돌 공개 사례는 이러한 우려가 단순한 음모론이 아님을 보여줍니다. AI가 인류에게 미칠 잠재적 영향이 막대한 만큼, 이를 다루는 주체들의 배경과 동기를 비판적으로 살피는 것이 중요하며, 특정 커뮤니티의 영향력이 과도하게 작용하지 않도록 다각적인 검증과 견제 장치가 마련되어야 할 것입니다.