최근 연구에 따르면, 강화 학습(RL)을 통해 훈련된 대규모 추론 모델(Large Reasoning Models)이 지도 학습(SFT)으로 미세조정(fine-tuned)된 모델보다 수학적 추론 작업에서 월등한 성능을 보이는 것으로 나타났습니다. 하지만 이러한 성능 우위가 어떤 메커니즘에 기반하는지는 명확하지 않았는데, 새로운 연구가 그 근본적인 차이를 규명했습니다.
이번 연구는 두 가지 핵심 증거를 제시합니다. 첫째, 모델의 계층별 은닉 상태(layer-wise hidden states)에 훈련된 선형 탐침(linear probes) 분석 결과, RL 모델이 SFT 모델에 비해 정답 예측 정확도가 더 높았습니다. 이는 RL 모델이 더 선형적으로 분리 가능하고 구조화된 내부 표현(internal representations)을 형성함을 의미합니다. 둘째, 평균 제거 연구(mean ablation studies)를 통해 RL 모델은 깊은 계층이 점진적으로 더 중요해지는 계층적 아키텍처를 발전시키는 반면, SFT 모델은 중요도를 모든 계층에 균일하게 분배하는 경향을 보였습니다. 이러한 발견은 강화 학습 훈련이 모델이 추론 문제를 표현하고 처리하는 방식을 근본적으로 재구성한다는 것을 보여줍니다.
이러한 결과는 대규모 언어모델(LLM)의 추론 능력을 향상시키기 위한 훈련 방법론에 중요한 시사점을 제공합니다. 단순히 더 많은 데이터나 더 큰 모델을 사용하는 것을 넘어, 강화 학습과 같은 정교한 훈련 방식이 모델의 내부 작동 방식을 최적화하여 복잡한 문제 해결 능력을 극대화할 수 있음을 보여줍니다. 이는 향후 AI 모델 개발 방향에 큰 영향을 미칠 것이며, 특히 수학이나 과학 분야의 복잡한 추론이 필요한 AI 애플리케이션 개발에 중요한 기반 지식을 제공할 것입니다.