최근 'GPT-6 아스트라(Astra)가 Qwen 모델의 가중치를 직접 읽고 수정하여 수학 능력을 개선했다'는 주장이 담긴 게시물이 온라인에서 큰 주목을 받았습니다. 해당 게시물은 아스트라가 원시 가중치(raw weights)만으로 네트워크의 훈련 목적을 파악하고, PPO(Proximal Policy Optimization)로 1억 스텝 훈련된 네트워크를 능가하는 게임 플레이 네트워크를 작성하며, Qwen3.5-0.8B의 수학 문제를 7.9%에서 48.1%로 향상시켰다고 주장했습니다. 그러나 이 주장이 실제 실험 방식을 오해하게 만든다는 비판이 제기되었습니다.
비판에 따르면, 아스트라가 원시 가중치만으로 대규모 언어모델(LLM)인 Qwen의 성능을 개선했다는 것은 사실과 다릅니다. 실제 실험은 여러 가지 방식으로 진행되었으며, 원시 가중치만으로 작업한 경우는 17K~172K 규모의 작은 네트워크에 국한되었습니다. Qwen의 수학 능력 개선과 같은 주요 결과는 아스트라가 파이썬(Python) 코드를 작성하고, 모델을 최대 50배치(batch)의 연습 문제로 실행하며 피드백을 받는 방식으로 이루어졌습니다. 이는 마치 인간 머신러닝(ML) 엔지니어가 코드를 통해 네트워크 가중치를 분석하고 수정하는 과정과 유사합니다.
이러한 지적은 아스트라의 능력을 과장하여 전달할 수 있다는 우려를 낳습니다. 가중치를 '직접 읽고 쓰는' 단일 기술로 모든 성과를 달성한 것이 아니라, 다양한 기술적 접근 방식이 혼합되어 사용되었기 때문입니다. 특히 파이썬 코드를 활용한 모델 실행 및 분석은 기존의 자동화된 ML 엔지니어링 작업과 크게 다르지 않다는 점에서, 아스트라가 마치 마법처럼 가중치를 조작하는 것처럼 보이는 인상을 줄 수 있다는 비판입니다. 이는 인공지능(AI) 기술의 실제 역량을 정확히 이해하고 평가하는 데 중요한 시사점을 제공합니다.