최근 한 개발자가 오픈소스 대규모 언어모델(LLM)의 추론(reasoning) 능력을 외부 모델의 '추론 프리필(reasoning prefill)'을 활용하여 향상시킬 수 있는지에 대한 흥미로운 실험 결과를 공유했습니다. 이 실험은 'Stolen Thoughts'라는 기존 연구의 후속 작업으로, 강력한 성능을 가진 모델의 추론 과정을 미리 주입(prefill)하는 방식이 다른 모델의 답변 품질에 어떤 영향을 미 미치는지 분석했습니다.
실험은 'Humanity's Last Exam (HLE)'과 'Puzzle'이라는 두 가지 데이터셋을 사용했습니다. HLE는 다양한 주제의 질문으로 구성된 벤치마크이며, Puzzle은 함수 변환 퍼즐로 이루어진 합성 데이터셋입니다. 연구자는 DeepSeek V4 Flash, Inkling, Kimi K3, Qwen3.8 A95B 등 여러 오픈 모델에 대해 'Opus 4.8' 모델의 추론 프리필을 1%만 적용했을 때와 적용하지 않았을 때의 답변을 비교했습니다. 특히 Kimi K3 모델은 HLE 벤치마크에서 프리필 적용 시 정답률이 8.98%p 상승하여, 'Stolen Thoughts' 논문의 결과(STEM 15%p, 비STEM 8.6%p 상승)와 유사한 경향을 보였습니다.
그러나 'Puzzle' 데이터셋에서는 Kimi K3의 성능 향상이 0.47%p에 그쳤고, 다른 모델들은 오히려 성능이 하락하는 경향을 보였습니다. 이러한 결과는 프리필이 일반적인 추론 능력을 전이(transfer)시키는 것이 아니라, 특정 벤치마크 데이터에 대한 '증류(distillation)' 효과일 가능성을 시사합니다. 즉, 프리필이 모델에게 문제 해결의 일반적인 방식을 가르치기보다는, 이미 학습된 벤치마크 데이터에 대한 '정답 패턴'을 더 잘 인식하도록 돕는 역할을 할 수 있다는 해석이 가능합니다. 이는 LLM의 추론 능력 향상 방식과 벤치마크의 한계에 대한 중요한 시사점을 제공합니다.