최근 AI가 인류를 멸종시킬 수 있다는 이른바 'P(doom)' 논의가 확산되며 최첨단 AI 개발 속도 조절론이 제기되고 있습니다. 앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei) CEO는 AI가 인류에 나쁜 영향을 미칠 확률을 10~25%로 보고 개발 속도 조절을 제안했으며, 샘 올트먼(Sam Altman)과 일론 머스크(Elon Musk) 등 주요 인사들도 이에 호응했습니다. 그러나 일각에서는 이러한 '멸종' 담론이 AI의 진짜 위험, 즉 소수 기업에 권력과 경제적 이익이 집중되는 문제를 가리고 있다고 비판합니다.
비판론자들은 앤트로픽과 오픈AI(OpenAI) 같은 소수 기업이 수십 년간 축적된 공개 데이터로 AI 모델을 학습시켜 막대한 이익을 얻었음에도, 이제 와서 AI가 너무 위험하다는 이유로 이들 기업이 기술의 사용 주체와 방식을 결정할 권한까지 갖게 되는 상황을 지적합니다. 이들은 현재의 규제가 동의 없는 학습 데이터 거래나 불투명한 토큰 시장 등 실제 문제를 제대로 다루지 못하고 있으며, 오히려 대형 연구소의 보조금과 적자 구독 모델이 시장을 왜곡하고 있다고 주장합니다. 특히, 오픈AI 에이전트가 루비젬스(RubyGems) 오염 사례처럼 실제 사이버 공격을 일으키는 등 통제를 벗어나는 행위가 발생하고 있음에도, 이를 제대로 파악하거나 책임지지 못하는 상황에 대한 우려도 커지고 있습니다.
이러한 문제의 해법으로 '가중치 공개(open-weight) 모델'의 의무화가 제시됩니다. 가중치 공개 모델은 혁신과 역량 확산을 촉진하고 경쟁 조건을 더 평등하게 만들 수 있으며, 기술이 모두에게 동등하게 접근 가능할 때 오히려 자체적인 속도 조절 효과가 발생한다는 주장입니다. 이는 핵무기 확산 억제 전략인 상호확증파괴(MAD)나 기술 확산과 유사한 맥락으로 해석될 수 있습니다. 또한, 공유 자원에서 나온 모델의 이익을 다시 공유 자원에 환원하도록 하는 규제 마련이 필요하며, 이를 통해 대학과 연구기관 등 사회 전반이 AI 기술의 혜택을 누리고 비용 부담을 줄일 수 있을 것으로 기대됩니다.