최근 MIT 연구진이 GPT-6 아스트라(Astra)와 같은 대규모 언어모델(LLM)이 뉴럴 네트워크의 가중치(weights)를 직접 읽고 쓸 수 있다는 놀라운 연구 결과를 발표했습니다. 이는 기존의 복잡한 훈련 과정이나 최적화 알고리즘 없이도 LLM이 스스로 뉴럴 네트워크의 내부를 이해하고 수정하여 성능을 개선할 수 있음을 의미하며, '가중치 공간 프로그래밍(Weight-Space Programming)'이라는 새로운 개념을 제시합니다.
연구에 따르면, 아스트라는 17,253개의 가중치만 보고도 특정 네트워크가 어떤 게임을 위해 훈련되었는지 99%의 정확도로 파악했습니다. 더 나아가, Qwen3.5-0.8B 모델의 수학 능력을 향상시키기 위해 경사 하강법(gradient descent) 없이 가중치의 0.016%만 수정하여, MATH-500 벤치마크 점수를 7.9%에서 48.1%로 대폭 끌어올렸습니다. 또한, 아스트라는 처음부터 작은 게임 플레이 네트워크를 직접 작성하여, 1억 스텝을 PPO(Proximal Policy Optimization)로 훈련시킨 네트워크보다 더 좋은 성능을 보이기도 했습니다. 이 모든 과정은 LLM이 훈련 루프(training loop)를 작성하는 것을 허용하지 않고, 오직 추론(reasoning)을 통해 가중치의 역할을 이해하고 변경함으로써 이루어졌습니다.
이 연구는 딥러닝(deep learning) 최적화와 해석 가능성(interpretability) 분야에 엄청난 파급 효과를 가져올 수 있습니다. 기존에는 아담(Adam)과 같은 단순한 최적화 알고리즘이 가중치를 업데이트했지만, 이제는 LLM이 가중치에 대해 직접 추론하여 최적화하는 시대가 열릴 수 있습니다. 이는 인간이 가중치를 수동으로 조작하는 것이 거의 불가능했던 영역에서, LLM이 자연어 목표에 따라 네트워크의 숨겨진 특성이나 실패 원인을 찾아내고, 이를 수정하거나 새로운 네트워크를 처음부터 작성할 수 있게 됨을 의미합니다. 가중치 공간 프로그래밍은 딥러닝 모델의 개발 및 유지보수 방식을 근본적으로 변화시킬 잠재력을 가지고 있습니다.