인공지능(AI)이 인간의 의사결정 규칙을 학습하는 데 널리 사용되는 '쌍대 비교(pairwise comparison)' 방식이 실제로는 인간의 복잡한 선호를 제대로 포착하지 못할 수 있다는 연구 결과가 발표되었습니다. 카네기 멜런 대학교(Carnegie Mellon University)의 베일리 플래니건(Bailey Flanigan)과 미셸 시(Michelle Si) 연구팀은 사람이 여러 가지 '권위 있는 우선순위(authoritative priorities)'를 동시에 가지고 있기 때문에, 단순한 쌍대 비교만으로는 AI가 인간의 의도를 정확히 이해하기 어렵다고 지적합니다.
연구팀은 '내부적 다원주의(internal pluralism)'라는 개념을 통해 이러한 문제를 설명합니다. 이는 개인이 비례성, 평등주의, 동등 대우 등 여러 가지 중요한 원칙에 따라 의사결정 규칙을 평가한다는 아이디어입니다. 쌍대 비교 방식은 두 가지 강력한 가정을 전제로 합니다. 첫째, 국소적인 비교만으로도 사람이 자동화된 의사결정 규칙에 대해 원하는 바를 충분히 알 수 있다는 것. 둘째, 사람은 항상 비교에 대해 명확하게 답할 수 있다는 것입니다. 하지만 연구 결과, 비례성과 같은 일부 우선순위는 전체적인 맥락에 따라 의미가 달라지는 '전역적(global)' 특성을 가지므로, 국소적인 비교만으로는 파악하기 어렵습니다. 또한, 강하게 지지하는 여러 우선순위가 충돌할 경우, 강제로 답변을 요구하면 내적 갈등이 발생하여 행동 왜곡을 초래할 수 있습니다.
이러한 한계를 극복하기 위해 연구팀은 사람들이 '결정 불능(indecision)'을 보고할 수 있도록 허용하는 대안을 제시했습니다. 모델을 통해 분석한 결과, 결정 불능을 허용하면 선호를 정확하게 학습하는 데 필요한 질의(query) 수를 상당히 줄일 수 있음을 발견했습니다. 이는 AI가 인간의 복잡한 우선순위를 더 충실하고 해석 가능하게 이해하기 위해서는, 단순히 선택을 강요하기보다 이러한 우선순위를 직접적으로 이끌어내는(elicit) 학습 방법이 필요하다는 점을 시사합니다. 결국, AI 시스템이 인간의 가치와 더 잘 조화되려면, 인간의 다층적인 사고방식을 반영할 수 있는 정교한 선호 학습 메커니즘이 필수적입니다.