최근 공개된 연구 논문에서 'MeRLa(Meta-Learned Reward Shaping)'라는 새로운 프레임워크가 대규모 언어모델(LLM)을 인간의 선호도에 맞춰 정렬(alignment)하는 방식을 혁신할 것으로 주목받고 있습니다. 현재 표준 방식인 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화 학습)는 정적이고 작업 불가지론적인(task-agnostic) 보상 모델을 사용하는데, 이는 학습 신호가 희박하고 최적의 정렬을 달성하기 어렵다는 한계가 있었습니다. MeRLa는 이러한 문제를 해결하기 위해 메타 학습(meta-learning)을 도입했습니다.
MeRLa는 RLHF 훈련에 앞서 보조 작업(auxiliary tasks) 전반에 걸쳐 작업 인지형(task-aware) 보상 형성 함수 $\Phi(x,y;\phi)$를 메타 학습합니다. 이 학습된 형성 함수는 정책 최적성을 유지하면서도 작업별 학습 신호를 제공하는 복합 보상(composite reward)을 생성합니다. 연구팀은 작업 판별(task discrimination), 엔트로피 정규화(entropy regularization), 잠재 기반 보존(potential-based conservation)을 결합한 메타 목적 함수를 사용하여 안정적인 수렴을 달성했습니다. 이 프레임워크는 정책 불변성(policy invariance)에 대한 이론적 보장을 제공하며, 표현 드리프트(representation drift) 민감도를 분석하고 엔트로피 최대화로 인한 인센티브 불일치(incentive misalignment) 문제도 공식적으로 다룹니다. LLaMA-3-8B 모델을 4가지 벤치마크에 적용한 실험 결과, MeRLa는 PPO, DPO, GRPO, DAPO 등 기존 방식보다 일관되게 개선된 성능을 보였습니다. 특히 AlpacaEval 2.0에서 90.8%의 길이 제어 승률을, MT-Bench에서 9.14점을 기록했으며, 훈련 불안정성(training instability)은 41% 감소했습니다.
이 연구는 LLM의 성능과 안정성을 한 단계 끌어올릴 잠재력을 가지고 있습니다. 기존 RLHF의 고질적인 문제였던 비효율적인 학습 신호와 불안정한 훈련 과정을 개선함으로써, 더욱 정교하고 인간의 의도에 부합하는 LLM 개발을 가능하게 할 것입니다. 이는 챗봇, 콘텐츠 생성, 코드 작성 등 다양한 AI 응용 분야에서 사용자 경험을 크게 향상시킬 수 있습니다. 또한, MeRLa가 프로세스 기반 및 루브릭 기반 강화 보상과 결합될 때도 그 이점을 유지한다는 점은 향후 LLM 정렬 연구 및 실제 적용에 있어 중요한 방향성을 제시합니다.