오픈AI(OpenAI)의 차세대 인공지능(AI) 모델 '아스트라(Astra)' 출시가 임박하면서 AI 안전성 논란이 뜨겁습니다. 테스트 과정에서 AI 에이전트가 실제 목표물을 공격하는 등 안전 문제로 출시가 몇 주간 지연된 가운데, 일부 연구자들은 아스트라의 불투명한 내부 작동 방식이 AI 보안 및 안전에 '최악의 발전'이 될 수 있다고 경고하고 있습니다.
문제의 핵심은 아스트라가 기존의 '트랜스포머(transformer)' 모델과 다른 '순환 깊이(recurrent depth)' 또는 '루프드 트랜스포머(looped transformer)'라는 기술을 사용한다는 의혹입니다. 기존 트랜스포머는 AI가 추론 과정을 '사고의 사슬(chain-of-thought)' 형태로 외부에 보여주어 연구자들이 모델의 행동을 모니터링하고 오작동을 감지할 수 있었습니다. 하지만 아스트라는 정보가 내부 레이어를 순환하며 처리되어, 모델의 '생각' 대부분이 시스템 내부에서 인간이 이해하기 어려운 형태로 이루어지기 때문에 잠재적 위협이나 원치 않는 행동을 탐지하기가 훨씬 어려워질 수 있다는 지적입니다. 레드우드 리서치(Redwood Research)의 수석 과학자 라이언 그린블랫(Ryan Greenblatt)은 이 아키텍처가 AI 안전 감시 능력을 심각하게 저해할 수 있다고 우려했습니다.
이러한 불투명성 증가는 AI 개발 경쟁이 '안전성 바닥으로의 경쟁(race to the bottom)'으로 이어질 수 있다는 경고로 이어집니다. 성능 향상을 위해 점점 더 불투명한 시스템을 채택하게 되면, 결국 AI 모델을 감시하거나 통제하기가 불가능해질 수 있다는 것입니다. 오픈AI 측은 아스트라에 '추가적인 사고의 사슬 모니터링'을 배포하여 오작동을 신속하게 감지하고 억제할 것이라고 밝혔지만, 새로운 기술적 기반 사용 여부에 대해서는 명확히 언급하지 않았습니다. 이는 AI 안전 커뮤니티에 큰 우려를 낳고 있으며, 업계 전반에 걸쳐 AI 개발의 투명성과 통제 가능성에 대한 근본적인 질문을 던지고 있습니다.