대규모 언어모델(LLM)이 복잡한 문제 해결에서 뛰어난 성능을 보이는 비결 중 하나는 '사고의 사슬(Chain-of-Thought, CoT)'과 같은 확장된 추론 과정을 생성하는 능력입니다. 하지만 기존의 강화 학습(Reinforcement Learning, RL) 기반 훈련 방식은 주로 최종 결과의 정확성에만 보상하여, 추론 과정 자체의 품질이나 효율성 개선에는 한계가 있었습니다. 최근 arXiv에 발표된 'ERR+' 연구는 이러한 문제를 해결하기 위해 LLM의 내부 추론 구조를 최적화하는 새로운 접근법을 제시했습니다.
ERR+는 두 단계로 구성된 강화 학습 프레임워크로, 핵심 아이디어는 '추론 과정 중 불확실성 해소'에 보상하는 것입니다. 연구팀은 올바른 추론 과정에서 토큰(token) 수준의 엔트로피(entropy, 불확실성)가 더 자주, 더 크게 감소한다는 패턴을 발견했습니다. 첫 번째 단계에서는 '엔트로피 해소 보상(Entropy Relief Reward, ERR)'을 통해 사고 과정에서 누적되는 토큰 수준의 엔트로피 감소에 비례하는 보너스를 제공합니다. 이는 단순히 엔트로피를 억제하는 기존 방식과 달리, 탐색적인 고(高)엔트로피 상태는 유지하되 불확실성을 성공적으로 해소하는 행위에 보상합니다. 두 번째 단계에서는 '강건한 상대적 효율성 보상(Robust Relative Efficiency Reward)'을 도입하여, 생성된 응답의 길이가 다른 응답들과 비교해 얼마나 효율적인지 평가하고 보상합니다.
이러한 순차적 설계는 초기 훈련 단계에서 두 목표(정확도와 효율성) 간의 잠재적 충돌을 피하기 위함입니다. 여러 모델과 5가지 데이터셋에 대한 실험 결과, ERR+는 정확도와 응답 간결성(conciseness) 모두에서 일관된 개선을 보였습니다. 이는 LLM이 단순히 정답을 맞추는 것을 넘어, 보다 효율적이고 명확한 방식으로 추론하도록 유도함으로써 실제 애플리케이션에서의 유용성을 크게 높일 수 있음을 시사합니다. 특히, 복잡한 문제 해결이나 코드 생성, 논리적 추론이 필요한 분야에서 LLM의 성능과 사용자 경험을 개선하는 데 기여할 것으로 기대됩니다.