최근 한 실험에서 개인 노트북에 설치된 Qwen 3.8 27B 대규모 언어모델(LLM)이 순수하게 신경망 가중치(neural network weights)만을 읽고 분석하여, 해당 모델이 학습했던 게임들을 식별하는 데 성공했습니다. 이는 LLM이 단순히 텍스트를 생성하는 것을 넘어, 다른 신경망의 내부 구조와 학습 내용을 이해할 수 있는 잠재력을 보여주는 흥미로운 결과입니다.
이 실험은 단순화된 10x10 격자 환경에서 강화학습(reinforcement learning)된 팩맨(Pac-Man), 퐁(Pong), 브레이크아웃(Breakout), 프리웨이(Freeway) 등 네 가지 게임의 정책 신경망 가중치를 LLM에 텍스트 형태로 제공하고, 어떤 게임을 학습했는지 맞히도록 하는 방식으로 진행되었습니다. Qwen 3.8 27B 모델은 17GB 크기의 GGUF 버전으로 로컬에서 실행되었으며, 팩맨, 퐁, 브레이크아웃 세 게임을 각각 46분에서 65분가량 소요하여 성공적으로 식별했습니다. 다만, 프리웨이 게임은 팩맨과 유사한 게임으로 오판하여 모든 사례에서 성공한 것은 아니며, 추론 과정은 매우 복잡하여 사람이 직접 따라가기 어려울 정도였습니다.
이러한 결과는 LLM이 신경망 가중치 공간(weight-space)을 직접 해석하고 조작하는 ‘가중치 공간 프로그래밍(Weight-Space Programming)’이라는 새로운 가능성을 제시합니다. 이는 기존의 미세조정(fine-tuning)이나 프롬프트 엔지니어링(prompt engineering)을 넘어, 모델이 다른 모델의 가중치를 분석하고 심지어 수정하여 성능을 개선할 수 있음을 의미합니다. 예를 들어, GPT-6 아스트라(Astra) 같은 최첨단 모델은 원시 가중치만으로 네트워크의 학습 과제를 파악하거나, 작은 게임용 네트워크를 처음부터 작성하여 PPO(Proximal Policy Optimization)로 1억 스텝 학습한 네트워크보다 뛰어난 성능을 보이기도 했습니다. 이는 모델의 특정 기능을 강화하거나 불필요한 편향을 제거하는 데 직접적인 가중치 수정이 효과적인 대안이 될 수 있음을 시사합니다.
물론, 이번 실험 결과만으로 소스 코드의 시대가 끝나거나 기계가 스스로를 이해 불가능한 방식으로 수정하는 미래를 단정하기는 어렵습니다. 하지만 LLM이 가중치를 직접 읽고 쓰는 능력은 모델의 투명성을 높이고, 특정 문제를 해결하기 위해 비결정적인 학습 과정 대신 빠르고 직접적인 방식으로 모델을 편집할 수 있는 잠재력을 제공합니다. 이는 AI 연구자와 개발자들에게 모델의 내부 작동 원리를 더 깊이 이해하고, 더욱 정교하게 제어할 수 있는 새로운 도구를 제공할 것입니다.