대규모 언어모델(LLM)이 인터넷과 같은 외부 지식 출처를 활용하는 비중이 커지면서, 이들이 정보를 얼마나 정확하게 분별하는지에 대한 의문이 제기되고 있습니다. 최근 아카이브(arXiv)에 발표된 연구에 따르면, LLM은 출처의 신뢰성(source discernment)과 주장의 진실성(truth discernment)을 판단하는 데 심각한 한계를 보이는 것으로 나타났습니다. 이는 LLM이 단순히 정보를 취합하는 것을 넘어, 비판적으로 평가하고 통합하는 능력에 대한 근본적인 질문을 던집니다.
연구팀은 '정보 분별력(information discernment)'이라는 개념을 정립하고, 이를 측정하기 위한 실험 프레임워크인 Learn2Discern(L2D)을 개발했습니다. 이 프레임워크는 세 가지 규범적 공리(normative axioms)에 기반하며, 해석 가능한 지표를 제공합니다. 299명의 실제 LLM 사용자 대상 설문조사 결과, 사용자들은 이 세 가지 공리를 모두 중요하게 여기며, LLM이 이를 위반할 경우 신뢰도와 사용 의도가 감소한다고 응답했습니다. 13개 모델과 약 67만 건의 시험을 거친 결과, LLM은 출처 신뢰도와 주장의 진실성 분별 모두에서 무작위 수준의 성능을 보였으며, 출처의 신뢰성보다 인기도에 두 배 더 의존하는 경향을 보였습니다. 또한, 주장이 기존 지식을 개선하든 악화시키든 거의 동일하게 업데이트하는 것으로 나타났습니다. 특히, 최신 및 대규모 모델은 진실성 분별력은 향상되었지만, 출처 분별력은 개선되지 않아 모델 복잡성이 해결하지 못하는 맹점으로 지적되었습니다.
이러한 연구 결과는 LLM이 단순한 정보 검색을 넘어 지식 통합의 역할을 수행할 때 직면하는 중요한 과제를 보여줍니다. 사용자들이 LLM의 정보 분별력 부족을 인지하고 신뢰도 하락으로 이어진다는 점은, LLM 개발자들이 반드시 해결해야 할 문제입니다. LLM이 검색 엔진을 대체하는 미래를 고려할 때, 정보의 신뢰성과 정확성을 보장하는 것은 사용자 만족도와 사회적 영향력 측면에서 매우 중요합니다. 연구팀은 추론(inference) 시 간단한 개입만으로도 두 가지 분별력을 모두 개선할 수 있음을 확인했으며, 관련 데이터셋과 설문조사를 공개하여 LLM 정렬(alignment) 연구의 핵심 테스트베드로 활용될 수 있도록 했습니다. 이는 LLM의 신뢰성을 높이고, 궁극적으로 더 유용하고 책임감 있는 AI 시스템을 구축하는 데 기여할 것입니다.