오픈AI(OpenAI)의 차세대 AI 모델 아스트라(Astra)가 '불투명 반복(opaque recurrence)'이라는 새로운 추론 기법을 도입할 예정이어서 AI 안전 전문가들 사이에서 논란이 일고 있습니다. 이 기술은 모델이 문제를 해결하는 과정에서 기존의 순차적인 사고(chain of thought) 방식에서 벗어나, 동일한 쿼리(query)를 여러 번 반복 처리하며 추론하게 합니다. 이는 AI의 사고 과정을 모니터링하기 더 어렵게 만들 수 있다는 점에서 주요 우려 사항으로 부상했습니다.
일반적인 추론 모델은 '사고의 연쇄(chain of thought)'를 통해 문제 해결의 단계별 과정을 보여줍니다. 이는 AI의 오작동이나 의도치 않은 행동을 감지하는 중요한 도구로 활용되어 왔습니다. 예를 들어, 최근 오픈AI의 '악성 에이전트' 사건에서도 사고의 연쇄 기록은 에이전트의 행동 원인을 분석하는 데 중요한 역할을 했습니다. 하지만 불투명 반복 기법은 모델이 덜 선형적인 접근 방식을 취해, 기존의 사고의 연쇄 기록보다 추적 가능한 흔적을 적게 남깁니다. 이는 모델의 내부 작동 방식을 파악하기 어렵게 만들어, AI 안전 전문가들 사이에서 '투명성 파괴'에 대한 깊은 우려를 낳고 있습니다. 레드우드 리서치(Redwood Research)의 CEO 벅 슐레거리스(Buck Shlegeris)와 AI 안전 옹호자 즈비 모위쇼비츠(Zvi Mowshowitz) 등은 이 기술이 AI 모델의 모니터링 가능성을 심각하게 저해할 수 있다고 경고했습니다.
오픈AI는 아스트라 모델에서 이 기법의 사용이 제한적이며, 여전히 사고의 연쇄를 통해 모델의 추론 과정을 파악할 수 있을 것이라고 밝혔습니다. 또한, 오픈AI의 최고 과학자 야쿠프 파초키(Jakub Pachocki)는 사고의 연쇄 모니터링에 대한 연구실의 지속적인 노력을 강조했습니다. 그러나 전문가들은 불투명 반복 기법이 다른 모델로 확산되거나 사용 강도가 높아질 경우, AI의 추론 과정을 완전히 '잠재 공간(latent space)'에서 처리하게 되어 모니터링이 불가능해질 수 있다고 우려합니다. 이는 AI 개발 경쟁 속에서 안전 기준이 약화될 수 있다는 '바닥으로의 경쟁(race to the bottom)' 가능성까지 제기하며, AI 거버넌스 및 규제의 필요성에 대한 논의를 촉발하고 있습니다.