인공지능(AI)의 도덕적 추론 능력을 평가하는 현행 방식이 절반의 그림만 보고 있다는 지적이 나왔습니다. 최근 연구들은 주로 AI가 인간의 도덕적 가치(moral value)와 얼마나 일치하는지에 초점을 맞추고 있지만, 특정 상황에 맞는 도덕적 규범(moral norm)을 식별하고 적용하는 능력은 제대로 평가되지 않고 있다는 것입니다. 이는 AI 윤리 연구의 중요한 간극을 드러냅니다.
에이단 키어런스(Aidan Kierans) 외 연구진은 아카이브(arXiv)에 게재된 논문에서 기존 AI 도덕성 평가가 도덕적 가치 문제에만 집중하는 경향이 있다고 분석했습니다. 이는 도덕 기반 이론(Moral Foundations Theory)이나 콜버그의 도덕 발달 단계(Kohlberg's stages of moral development)와 같은 기술 윤리(descriptive ethics) 프레임워크에 의존하기 때문인데, 이들 프레임워크는 가치 표현에 중점을 두기 때문입니다. 연구진은 도덕적 규범과 그 적용에 대한 고품질 정답 데이터의 부재, 추론 과정 평가의 미흡, 상황별 도덕적 관련 특징 식별 능력에 대한 제한된 관심 등 세 가지 핵심 격차를 지적했습니다.
이러한 연구 결과는 대규모 언어모델(LLM)을 포함한 AI의 도덕적 역량을 보다 체계적으로 연구하기 위한 새로운 의제를 제시합니다. 연구진은 규범 이론을 위한 표준화된 형식적 표현 개발, 규범 적용을 포착하는 전문가 주석 데이터셋 구축, 그리고 가치 수준과 규범 수준의 역량을 명확히 구분하는 평가 프로토콜 개발을 제안했습니다. 이는 AI가 단순한 가치 일치를 넘어 복잡한 현실 세계에서 윤리적으로 행동하도록 돕는 데 필수적인 단계이며, AI의 신뢰성과 사회적 수용성을 높이는 데 기여할 것입니다.