최근 대규모 언어모델(LLM)의 추론(reasoning) 능력을 효과적으로 향상시키기 위한 새로운 학습 방법론이 발표되었습니다. '추론 진행 인식 보상 필터링 온-폴리시 증류(Reasoning-Progress-Aware Reward Filtering for On-Policy Distillation, R2-OPD)'라는 이 접근 방식은 기존 온-폴리시 증류(On-Policy Distillation, OPD)의 한계를 극복하며, 모델이 단순히 교사(teacher) 모델을 모방하는 것을 넘어 실제 추론 과정을 더 잘 이해하고 발전시키도록 돕습니다.
온-폴리시 증류(OPD)는 학생(student) 모델이 생성한 추론 과정(trajectory)에 대해 교사 모델이 토큰 단위로 밀도 높은 피드백(보상)을 제공하여 학습시키는 효과적인 사후 학습(post-training) 프레임워크입니다. 하지만 이 방식은 교사 모델이 주는 보상이 항상 실제 추론 진행 상황을 정확히 반영한다고 암묵적으로 가정합니다. 연구진은 이러한 가정이 실제로는 항상 들어맞지 않으며, 때로는 교사의 보상이 실제 추론의 진전과 상충될 수 있음을 발견했습니다. 즉, 명확한 추론 발전이 있었음에도 불구하고 교사의 출력과 다르다는 이유만으로 낮은 보상을 받는 경우가 발생할 수 있습니다.
이러한 불일치를 해결하기 위해 R2-OPD는 두 가지 방식으로 추론 구간(reasoning span)의 순위를 매깁니다. 하나는 교사 모델이 제공하는 보상에 기반한 순위이고, 다른 하나는 독립적으로 추정된 '진행 보상(progress reward)'에 기반한 순위입니다. 두 순위가 일치하지 않을 경우, R2-OPD는 교사로부터 오는 증류 보상(distillation reward)을 선택적으로 억제하여, 실제 추론 진행과 상충되는 감독(supervision)을 줄이면서도 효과적인 교사의 지침은 유지합니다. 이 접근 방식은 특히 추론 성능(reasoning performances) 측면에서 표준 OPD 대비 일관된 개선을 보였습니다. 이는 LLM이 더욱 복잡한 문제 해결 능력을 갖추는 데 중요한 진전을 의미합니다.