대규모 언어모델(LLM)이 유용성(helpfulness), 무해성(harmlessness), 정직성(honesty) 등 다양한 목표를 동시에 만족하도록 정렬(alignment)하는 것은 매우 중요하지만, 각 목표에 대한 선호도 판단(preference judgment)에 드는 주석(annotation) 비용이 목표 수에 비례하여 급증하는 문제가 있습니다. 이러한 비효율성을 해결하기 위해, 최근 Duc Anh Vu 외 연구진은 '목표 조건부 능동 선호 학습(Objective-Conditioned Active Preference Learning)'이라는 새로운 접근 방식인 OGC-DPO(Objective-conditioned Gradient Coverage DPO)를 제안했습니다. 이 방법은 모델 학습에 가장 큰 영향을 줄 것으로 예상되는 데이터를 선별적으로 레이블링하여 비용을 절감합니다.
기존의 능동 선호 학습(active preference learning) 방식들은 다중 목표 설정에서 목표를 인지하는 쿼리 선택(query selection) 메커니즘이 부족하거나, 상충하는 선호도(conflicting preferences)를 해로운 것으로 간주하여 학습 데이터에서 제외하는 경향이 있었습니다. 그러나 OGC-DPO는 (응답 쌍, 목표) 조합 각각을 독립적인 쿼리로 취급하고, 외부 보상 모델(reward model) 없이 정책(policy)의 내재된 기울기(gradient)를 통해 정보성(informativeness)을 측정합니다. 이를 통해 각 목표의 기울기 커버리지(gradient coverage)를 가장 크게 확장하는 쿼리를 선택함으로써, 동일한 주석 비용으로도 기존 방법론보다 뛰어난 성능을 보였습니다. 특히, OGC-DPO는 상충하는 선호도가 단순히 해로운 것이 아니라, 정책 훈련에 유용한 신호를 제공할 수 있음을 실험적으로 입증했습니다.
이 연구는 LLM 정렬의 효율성을 획기적으로 개선할 잠재력을 가지고 있습니다. 주석 비용 절감은 모델 개발 및 배포 속도를 높이고, 더 많은 목표를 동시에 고려한 정렬을 가능하게 하여 LLM의 안전성과 신뢰성을 향상시킬 수 있습니다. 또한, 상충하는 선호도를 유용한 학습 신호로 활용하는 접근 방식은 복잡한 인간의 가치 체계를 모델에 더 잘 반영할 수 있는 길을 열어줄 것입니다. 이는 궁극적으로 더욱 정교하고 사용자 친화적인 LLM 개발에 기여하며, AI 윤리 및 안전 연구에도 중요한 시사점을 제공합니다.