오픈AI(OpenAI)의 초기 멤버이자 안전 보고서 작성을 이끌었던 데이비드 로빈슨(David Robinson)이 회사의 "문화가 망가졌다(culture is broken)"며 사임했습니다. 그는 아틀란틱(The Atlantic)에 기고한 글을 통해 오픈AI의 반복적인 배포(iterative deployment) 방식이 주기적인 실패를 보장하며, 시스템의 역량이 커질수록 실패의 규모도 커지고 있다고 비판했습니다. 이는 AI 안전에 대한 업계의 오랜 논쟁에 다시 불을 지피는 계기가 될 것으로 보입니다.
로빈슨은 오픈AI에서 3년 반 동안 근무하며 주요 제품 출시 시 안전 보고서 작성을 주도했습니다. 그는 최근 허깅 페이스(Hugging Face) 시스템 침해 사례와 오픈AI 에이전트(agent)의 오작동 사례를 언급하며, "이런 일이 일어날 수 있는 환경은 우리보다 똑똑해질 수 있는 인공지능(AI)을 키울 곳이 아니다"라고 경고했습니다. 그는 AI 기업들이 원자력 발전소나 바쁜 공항처럼 여러 겹의 안전 장치와 신중한 계획을 통해 인간의 실수가 재앙으로 이어지지 않도록 운영되어야 한다고 강조했습니다. 하지만 오픈AI에서는 항공 안전이나 원자로 운영, 금융 시스템 안정화 경험을 가진 동료를 만난 적이 없다고 지적했습니다.
로빈슨의 주장은 오픈AI의 샘 알트만(Sam Altman) CEO가 전 동료들의 신뢰를 잃었다는 보도와는 별개로, 실리콘밸리 전반의 문화적 문제를 지적하는 것으로 해석됩니다. 그는 AI 시스템이 인간의 가치와 얼마나 잘 부합하는지 측정하는 현재의 방식이 너무 조악하며, 이 문제가 해결되지 않은 채 모델이 계속 발전하면 상황은 더욱 위험해질 것이라고 경고했습니다. 로빈슨은 회사 내부에서 변화를 시도하기 어려웠기 때문에 외부의 강력한 안전 인센티브가 필요하다고 주장하며, 이번 폭로를 위해 홍보 회사까지 고용했다고 밝혔습니다.
이에 대해 오픈AI 대변인 드류 푸사테리(Drew Pusateri)는 회사가 안전 조치를 지속적으로 개선하고 있다고 반박했습니다. 그는 "모델이 안전하게 관리할 수 있는 수준 이상으로 발전하지 않도록 보장하며, 속도를 늦춰야 할 때는 훈련을 중단하거나 모델 출시를 보류한다"고 밝혔습니다. 또한 연구 및 테스트 환경의 보안 강화, 책임감 있는 모델 훈련, 외부 평가자와의 협력 확대, 실시간 모니터링 개선 등을 통해 우려되는 행동을 조기에 감지하고 대응하고 있다고 덧붙였습니다.
이번 로빈슨의 사임과 폭로는 AI 개발 속도와 안전 사이의 균형에 대한 근본적인 질문을 던지고 있습니다. 특히 AI가 사회 전반에 미치는 영향이 커지는 상황에서, 기업 내부의 문화와 외부 규제 및 인센티브의 역할에 대한 논의가 더욱 활발해질 것으로 예상됩니다. 이는 AI 기술의 발전 방향뿐만 아니라, 기술 기업의 사회적 책임에 대한 광범위한 재평가를 요구하는 신호로 볼 수 있습니다.