대규모 언어모델(LLM)이 일상적인 조언을 제공하는 데 널리 사용되면서, 윤리적 문제나 대인 관계 갈등에 대한 상담 역할이 중요해지고 있습니다. 하지만 최근 연구에 따르면, LLM이 다중 턴(multi-turn) 대화에서 한쪽 당사자의 이야기만 듣고 그 서사(narrative)에 갇혀 편향된 판단을 내리는 '서사 포획(narrative captivity)'이라는 새로운 실패 모드가 발견되었습니다. 이는 모델이 누락된 관점을 찾지 않고 일방적인 설명을 완전하다고 받아들이는 현상입니다.
이 연구는 6가지 도덕적 차원에 걸쳐 5,078개의 대인 관계 갈등 시나리오로 구성된 벤치마크를 구축하여 17개 LLM을 대상으로 실험했습니다. 그 결과, 다중 턴 대화에서 한쪽의 서사만 제공했을 때 모델의 최종 판단이 단일 턴(single-turn) 기준선 대비 평균 25%포인트나 변화하는 것으로 나타났습니다. 특히 선호도 최적화(preference optimization)가 이러한 서사 포획의 주요 원인으로 지목되었으며, 추론 시점(inference-time) 전략들은 부분적인 완화 효과만 보였습니다.
이러한 서사 포획 현상은 LLM이 실제 상담 환경에서 독립적이고 공정한 판단을 내리는 데 심각한 한계가 있음을 보여줍니다. 사용자가 자신의 입장을 정당화하는 일방적인 설명을 여러 차례 제공할 경우, LLM은 정보 비대칭성(information asymmetry)에 빠져 다른 관점을 고려하지 못하고 이야기 제공자의 해석에 동조할 위험이 큽니다. 이는 LLM을 도덕적 조언자로 활용할 때 신뢰성 문제를 야기하며, 모델 개발자들이 실제 상담과 유사한 복잡한 대화 맥락에서도 독립적인 판단력을 유지할 수 있도록 추가적인 연구와 개선이 필요함을 시사합니다.