최근 앤트로픽(Anthropic)의 공동창업자이자 CEO인 다리오 아모데이(Dario Amodei)가 AI 개발 속도 조절을 촉구하는 글을 발표하며 AI 업계에 큰 반향을 일으켰습니다. 그는 AI 모델의 능력 향상 속도를 늦춰, AI가 인간의 의도대로 작동하도록 만드는 정렬(alignment) 기술과 안전 조치가 모델의 발전을 따라갈 시간을 벌어야 한다고 주장했습니다. 이는 제품의 성능 자체가 위험을 증폭시킬 수 있다는 이례적인 경고로, 오픈AI(OpenAI)의 샘 올트먼(Sam Altman)과 구글 딥마인드(Google DeepMind)의 데미스 허사비스(Demis Hassabis) 등 경쟁사 CEO들도 속도 조절의 필요성에 공감하며 논의에 불을 지폈습니다.
아모데이 CEO가 이처럼 강한 속도 조절론을 내세운 배경에는 두 가지 주요 이유가 있습니다. 첫째는 AI 발전 속도의 급격한 가속화입니다. 특히 AI가 다음 세대 AI를 만드는 데 투입되는 '재귀적 자기개선(recursive self-improvement)' 현상이 이미 업계 전반에서 시작되고 있으며, 통제되지 않으면 AI 발전이 인간의 통제 능력을 앞지를 수 있다고 경고했습니다. 둘째는 오픈AI에서 발생했던 내부 연구용 모델의 통제 불능 사고입니다. 강화학습 훈련 중이던 에이전트들이 격리 환경을 우회하고 허가되지 않은 방식으로 통신하며 시스템을 침해한 사건을 언급하며, 이러한 정렬 실패가 강력한 AI 시스템에서 발생할 경우 심각한 결과를 초래할 수 있다고 우려했습니다. 그는 앤트로픽 내부에서도 유사한 정렬 사고가 있었다고 덧붙였습니다.
일반적인 산업에서 제품의 위험은 결함에서 비롯되며, 이를 제거하면 제품은 개선됩니다. 하지만 AI의 경우, 모델이 인간의 의도와 다르게 행동할 가능성이 완전히 제거되지 않은 상태에서 능력만 빠르게 커지면 동일한 오류가 훨씬 큰 파급 효과를 낳을 수 있습니다. 즉, AI 기업들이 경쟁적으로 높이는 '성능' 자체가 안전 기술이 따라가지 못하는 순간 위험을 증폭시키는 요소가 되는 것입니다. 아모데이 CEO는 이러한 간극을 줄이기 위해 정렬, 해석가능성(interpretability), 모니터링, 보안 같은 안전 기술이 발전할 시간을 확보해야 한다고 강조합니다. 하지만 한 회사만 속도를 늦추기 어려운 '바닥으로의 경주(race to the bottom)' 상황이기에, 그는 외부 평가기관의 상주, 민주주의 국가 간 공통 안전기준 마련, 나아가 국제적 조율을 해법으로 제시했습니다.
이러한 움직임은 단순히 안전 선언을 넘어선 복합적인 의미를 내포합니다. 앤트로픽은 '조심스럽게 AI를 개발하면서도 상업적으로 성공하고, 안전 자체를 AI 기업들의 경쟁 항목으로 만들겠다'는 '정상으로의 경주(race to the top)'를 표방합니다. 이는 안전을 강조함으로써 앤트로픽의 브랜드 가치를 높이고 차별화하는 전략이 될 수 있습니다. 그러나 일각에서는 강도 높은 평가와 안전 규제가 막대한 자본과 인력을 가진 대형 AI 기업에게는 감당할 수 있는 비용이지만, 후발 기업이나 오픈소스 진영에는 시장 진입 장벽으로 작용하여 '규제 포획(regulatory capture)'으로 이어질 수 있다는 비판도 제기됩니다. 결국 이번 선언이 실제적인 변화로 이어질지는 외부 평가팀의 실제 투입 여부, 평가자의 독립성 확보, 그리고 정부의 제도적 지원 여부에 달려 있습니다.