GPT-6 아스트라(Astra)가 기존의 학습 방식인 경사하강법(gradient descent) 없이 신경망의 가중치(weight)를 직접 읽고 수정하여 모델 성능을 개선하는 놀라운 실험 결과를 공개했습니다. 이 '가중치 공간 프로그래밍(Weight-Space Programming)' 접근 방식은 범용 대규모 언어모델(LLM)이 자연어 명령에 따라 다른 신경망의 내부 동작을 식별하고, 오류를 수정하며, 심지어 새로운 신경망을 작성하는 능력을 보여주었습니다. 이는 LLM이 단순히 텍스트를 생성하는 것을 넘어, 인공지능(AI) 시스템 자체를 이해하고 조작하는 메타 학습(meta-learning)의 새로운 지평을 열었다는 평가를 받습니다.
이번 실험에서 아스트라는 Qwen3.5-0.8B 모델의 가중치 중 단 0.016%만을 수정하여 반복 추론(repetitive inference) 문제를 해결했습니다. 그 결과, 수학 추론 벤치마크인 MATH-500 점수는 7.9%에서 48.1%로, 지시 이행 능력 평가인 IFEval 점수는 21.0%에서 62.3%로 크게 상승했습니다. 또한, 아스트라는 실행 없이 가중치만으로 학습된 게임과 언어를 식별하고, 텍스트 복사(text copying)를 담당하는 어텐션 헤드(attention head)를 정확히 찾아내는 등 신경망 내부 구조를 분석하는 능력을 입증했습니다. 심지어 환경 피드백 없이 처음부터 작성한 미니 아타리(MinAtar) 게임 신경망은 기존 PPO(Proximal Policy Optimization)로 1억 스텝 학습한 모델보다 높은 점수를 기록하기도 했습니다.
이러한 성과는 인공지능 개발 패러다임에 중대한 변화를 가져올 수 있습니다. 기존에는 모델을 개선하기 위해 방대한 데이터와 컴퓨팅 자원을 투입하여 재학습(re-training)하거나 미세조정(fine-tuning)하는 방식이 주를 이루었습니다. 하지만 아스트라의 가중치 공간 프로그래밍은 LLM이 마치 개발자처럼 신경망의 코드를 직접 수정하듯이, 특정 문제를 진단하고 해결하는 능력을 보여줍니다. 이는 모델의 투명성(transparency)과 해석 가능성(interpretability)을 높이고, 특정 목적에 맞춰 모델을 빠르고 효율적으로 최적화할 수 있는 길을 열어줄 것입니다. 특히, 복잡한 신경망의 블랙박스(black box) 문제를 해결하고, AI 시스템의 신뢰성을 높이는 데 기여할 잠재력이 큽니다.