최근 GPT-6 아스트라(Astra)가 신경망 가중치(neural network weights)를 직접 읽고 수정하여 Qwen 모델의 성능을 개선했다는 게시물이 큰 관심을 모았지만, 이는 실험 조건에 대한 오해를 불러일으킨다는 지적이 나왔습니다. 해당 게시물은 원시 가중치만 보고 네트워크를 이해하고 수정하는 실험과 파이썬(Python)을 활용해 모델을 분석하고 수정하는 실험을 하나의 능력으로 묶어 아스트라의 역량을 과장했다는 비판을 받고 있습니다.
실제로 원시 가중치 실숫값만으로 문맥에 넣고 도구나 네트워크 실행 없이 수행된 실험은 가중치 1만 7천 개에서 17만 2천 개 규모의 작은 네트워크를 대상으로 한 세 가지 사례에 불과했습니다. 반면, 핵심으로 언급된 Qwen3.5-0.8B 수학 개선 실험은 원시 가중치만 보는 방식이 아니라 파이썬을 사용하고, 최대 50개 배치(batch)의 연습 문제를 모델에 실행할 수 있는 조건에서 진행되었습니다. 이 실험에서 Qwen의 MATH-500 점수는 7.9%에서 48.1%로 크게 상승했지만, 같은 방식으로 Gemma 3 모델의 수학 개선을 시도했을 때는 실패하는 등 제약과 실패 사례도 명확히 존재했습니다.
이러한 실험 결과는 아스트라가 인간 머신러닝(ML) 엔지니어가 할 법한 작업을 고안하고 수행하는 능력을 보여주지만, 작은 게임 네트워크의 가중치 작성과 대규모 모델의 이해 및 개선을 단일 기법으로 달성했다는 근거는 아닙니다. 즉, 가중치 직접 읽기와 파이썬 기반 작업은 별개의 기법이며, 서로 다른 실험 조건에서 얻은 성과를 단일 능력의 증거로 받아들이는 것은 적절치 않다는 것이 비판의 핵심입니다. 그럼에도 불구하고, 기존 AI 모델이라면 실패했을 법한 복잡한 과제를 아스트라가 수행했다는 점은 주목할 만하며, 이는 재귀적 자기 개선(Recursive Self-Improvement, RSI) 시스템 개발 가능성을 시사하는 중요한 진전으로 평가될 수 있습니다.