기존 강화 학습(RL)은 일반적으로 평균 보상을 최대화하는 방식으로 작동합니다. 하지만 생성형 정책(generative policies)의 경우, 단순히 평균 보상만으로는 중요한 차이를 간과할 수 있습니다. 예를 들어, 두 정책이 동일한 평균 보상을 달성하더라도, 드물지만 매우 높은 보상을 주는 결과(rollout)를 생성할 확률은 크게 다를 수 있습니다. 이는 학습 및 추론 과정에서 샘플링 횟수가 증가할수록 더욱 중요해지는데, 고보상 결과에 대한 확률 질량(probability mass)을 얼마나 잘 유지하느냐에 따라 샘플링의 이점이 달라지기 때문입니다.
이러한 문제를 해결하기 위해 새로운 접근법인 '테일-라이클리후드 강화 학습(Tail-Likelihood Reinforcement Learning, TailRL)'이 제안되었습니다. TailRL은 단순히 기대 보상(expected reward)만을 고려하는 대신, 모든 상위 보상 꼬리(upper tails)를 고려합니다. 즉, 각 보상 임계값에 대해 정책이 해당 임계값을 초과할 확률이 얼마나 되는지를 직접 최적화합니다. 이는 연속적인 보상을 이진 성공 이벤트(binary success events)의 집합으로 변환하는 방식입니다. TailRL은 무작위로 선택된 보상 임계값을 초과할 로그 확률(log-probability)을 최대화하며, 그 기울기(gradient)는 희귀하고 높은 보상을 주는 결과에 더 큰 가중치를 부여합니다. 이는 '최고의 k개(Best-of-k)' 기울기의 혼합으로 해석될 수 있습니다.
TailRL의 가장 큰 장점 중 하나는 기존 강화 학습 파이프라인과 쉽게 호환된다는 점입니다. 어드밴티지 함수(advantage function)에 간단한 수정만 가하면 되므로, 기존 시스템에 쉽게 통합할 수 있습니다. 연구진은 객체 위치 파악(object localization), 미로 탐색(maze navigation), GUI 그라운딩(GUI grounding), 코드 최적화(code optimization) 등 다양한 작업에 TailRL을 적용했습니다. 그 결과, TailRL은 희귀한 고보상 학습 샘플을 효과적으로 활용하여 최적화되지 않은 솔루션을 피하고, 추론 시 추가 샘플을 통해 더 큰 성능 이점을 얻는 모델을 생성했습니다. 이는 생성형 AI 모델이나 복잡한 의사결정 시스템에서 '대박' 결과를 놓치지 않고 찾아내는 데 중요한 역할을 할 수 있음을 시사합니다.