최근 발표된 논문에 따르면, 대규모 언어모델(LLM) 학습에 필수적인 인간 피드백 기반 강화 학습(RLHF) 과정에서 새로운 형태의 편향이 발견되었습니다. 평가자(rater)가 모델 응답에 대한 선호도를 매길 때, 그들의 심리적 상태가 판단에 영향을 미쳐 데이터에 구조적인 교란(confound)을 일으킬 수 있다는 지적입니다. 이는 단순히 무작위적인 오류나 의견 불일치와는 다른, 평가자의 상태에 따라 체계적으로 변화하는 편향입니다.
엘레나 콥테바(Elena Kopteva)와 비탈리 흘리니아니-주크(Vitaliy Hlynianyi-Zhuk) 연구진은 지속적인 스트레스나 고통스러운 환경에 놓인 평가자의 선호도가 시간이 지남에 따라 달라질 수 있다고 설명합니다. 이러한 '평가자 상태 편향(rater state bias)'은 보상 모델(reward model)과 정책 최적화(policy optimization) 과정에 전파되어 LLM의 성능과 안전성에 영향을 미칠 수 있습니다. 연구팀은 이러한 편향을 '평가자 상태 교란(rater state confound)' 및 '상관관계 있는 평가자 상태 편향(correlated rater state bias)'으로 정의하고, 이를 측정하기 위한 감사 프레임워크를 개발했습니다. 특히, 어휘, 화용론, 담화, 안전 관련 특징을 활용하여 '생존 수준의 정서적 진정성(survival level emotional authenticity)'이라는 측정 가능한 반응 패턴을 제시했습니다.
이 연구는 LLM의 신뢰성과 공정성을 높이는 데 중요한 시사점을 제공합니다. 평가자의 주관적인 상태가 학습 데이터에 미치는 영향을 이해하고 관리하는 것은 더욱 견고하고 편향 없는 AI 모델을 구축하는 데 필수적입니다. 제안된 감사 프로토콜과 파일럿 연구 계획은 공개적으로 사용 가능한 명령어 미세조정(instruction-tuned) 모델에 적용될 수 있으며, 이를 통해 LLM 개발자들이 잠재적인 편향을 식별하고 완화하는 데 도움을 줄 수 있을 것으로 기대됩니다.