환경 역학이 불분명하고 적절한 보상 함수를 정의하기 어려운 상황에서 AI 에이전트를 안전하게 훈련하고 배포하는 것은 인공지능 분야의 오랜 과제였습니다. 특히 안전이 중요한 환경에서는 기존의 강화 학습(Reinforcement Learning) 방식이 비실용적이라는 한계가 있었는데, 최근 발표된 연구에서 인간의 피드백을 활용하여 이 문제를 해결하는 새로운 방법론 'DROPJ'가 제시되었습니다.
DROPJ(Learning Safe Agent Behaviour from Human Preferences and Justifications via World Models)는 인간 중심의 접근 방식을 통해 안전한 훈련과 배포를 모두 가능하게 합니다. 먼저 실제 궤적(trajectory) 데이터셋을 이용해 월드 모델(world model), 즉 학습된 시뮬레이터를 구축합니다. 이후 인간이 이 가상 시뮬레이터에서 게임을 플레이하며 다양한 정보성 궤적을 생성합니다. 이 궤적들 중 일부를 쌍으로 추출하여 인간에게 선호도(preference)를 묻고, 그 선택에 대한 이유(justification)까지 함께 수집합니다. 이렇게 얻은 '정당화된 선호도(justified preferences)'를 바탕으로 보상 모델(reward model)을 훈련하고, 이를 월드 모델과 함께 사용하여 모델 예측 제어(Model Predictive Control) 방식으로 에이전트를 직접 배포합니다. 실제 사용자 실험 결과, 이 방법은 훈련 시 컴퓨팅 비용을 크게 줄이고 배포 시 성능을 향상시키는 것으로 나타났습니다.
이 연구는 AI의 안전성 확보에 있어 인간의 역할이 얼마나 중요한지 다시 한번 강조합니다. 특히, 선호도와 함께 제공되는 안전 정당화(safety justifications)가 배포 단계에서 에이전트의 안전성을 크게 향상시키거나, 사용자가 지정한 특정 안전 측면을 우선시하는 데 기여할 수 있음을 입증했습니다. 이는 자율주행, 로봇 제어, 의료 등 안전이 최우선시되는 다양한 분야에서 AI 에이전트의 실제 적용 가능성을 높이는 중요한 진전으로 평가됩니다. 궁극적으로 인간의 지식과 판단을 AI 학습 과정에 효과적으로 통합함으로써, 더욱 신뢰할 수 있고 안전한 인공지능 시스템을 구축하는 길을 열었습니다.