최근 GPT-6 Astra가 다른 신경망의 가중치(weights)를 분석하고 직접 수정하여 0.8B Qwen 모델의 수학 문제 해결 능력을 향상시켰다는 소식이 전해지며 인공지능(AI) 커뮤니티에서 큰 관심을 끌었습니다. 이는 마치 AI가 스스로 다른 AI의 내부 구조를 이해하고 개선하는 '초인적' 능력처럼 비쳤습니다. 그러나 일각에서는 이러한 능력이 인간 머신러닝(ML) 연구자도 충분히 수행할 수 있는 역공학적 접근법의 일종이며, 그 의미가 과장되었다는 분석을 내놓았습니다.
해당 연구의 핵심은 두 가지 실험입니다. 첫째, Astra가 작은 게임 신경망의 가중치만 보고 어떤 게임을 학습했는지 식별하는 실험입니다. 약 1만 7천 개의 가중치를 가진 게임 신경망의 입력 채널은 격자 위치와 의미가 명확히 드러나 있어, 첫 번째 층 가중치의 L2 노름(norm)을 분석하면 신경망이 격자의 어느 부분을 중요하게 다루는지 히트맵(heatmap)으로 시각화할 수 있습니다. 예를 들어, '브레이크아웃(Breakout)'은 화면 아래쪽 수평선, '팩맨(Pac-Man)'은 미로의 움직이는 물체 등 게임별 특징이 가중치에 반영되어 이를 통해 게임을 식별할 수 있었다는 것입니다. 둘째, 0.8B Qwen 모델의 수학 성능 개선 실험입니다. Qwen은 32k 토큰(token) 이후 반복(repetition)에 빠지는 문제로 긴 추론이 필요한 수학 문제에서 실패했는데, Astra는 반복하는 추론과 그렇지 않은 추론의 잔차 표현 차이를 분석하고, 이 차이에 크게 기여하는 가중치를 줄이는 '스티어링(steering)' 계열 접근법을 사용했습니다. 이 과정을 통해 Astra는 Qwen이 32k 토큰을 넘어 수학 문제를 풀 수 있도록 패치를 찾아냈습니다.
이러한 결과는 분명 인상적이지만, 비판론자들은 이를 '초인적' AI 연구 능력으로 보기는 어렵다고 주장합니다. 게임 신경망 식별의 경우, 입력 구조가 단순하고 의미가 명확해 인간 연구자도 가중치 분석을 통해 단서를 얻을 수 있으며, Astra가 파이썬(Python) 실행 없이 노름을 계산한 것은 '초인적 암산'일 수 있으나 곧바로 '초인적 AI 연구 능력'을 의미하지는 않는다는 것입니다. Qwen 개선 역시 반복 문제를 해결하는 스티어링 방식은 기존 인간 연구자들도 사용하는 어블리터레이션(abliteration)과 같은 계열의 접근법이며, Astra는 파이썬을 활용해 이 작업을 수행했습니다. 즉, LLM이 직접 가중치를 수정하는 능력은 마치 LLM이 기계어를 생성하거나 컴파일된 바이너리(binary)를 수정하는 능력과 유사하게 볼 수 있으며, 모델 가중치를 갱신하는 가장 좋은 방법은 여전히 정상적인 학습(training) 과정이라는 것이 핵심입니다.
결론적으로, 이번 연구는 LLM이 다른 모델의 내부 작동 방식을 분석하고 특정 문제를 해결하기 위해 가중치를 조작할 수 있음을 보여주며 AI의 잠재력을 다시 한번 확인시켜 주었습니다. 그러나 이것이 AI가 스스로를 재귀적으로 개선하는 '초인적' 능력의 질적 도약으로 이어질지는 아직 미지수입니다. AI의 진정한 연구 기여는 가중치를 마법처럼 고치는 것보다, 학습 과정 자체를 개선하는 방향에서 나올 가능성이 높습니다. 이번 논의는 LLM의 능력을 객관적으로 평가하고, AI 연구의 방향성에 대한 중요한 질문을 던지고 있습니다.