애플 머신러닝 연구진이 최근 발표한 논문에서 대규모 언어모델(LLM)이 확률적 믿음에 있어 일관성을 유지하지 못한다고 밝혔습니다. 이는 LLM이 특정 사건에 대한 확률을 추론할 때, 관련 정보가 추가되거나 질문 방식이 바뀌면 그 믿음이 비합리적으로 변할 수 있음을 의미합니다. 즉, LLM이 인간의 베이즈 추론(Bayesian inference) 방식처럼 새로운 증거를 바탕으로 기존 믿음을 합리적으로 업데이트하지 못한다는 것입니다.
연구진은 다양한 LLM을 대상으로 여러 시나리오에서 조건부 확률(conditional probability)을 묻는 실험을 진행했습니다. 예를 들어, 'A일 때 B일 확률'과 'B일 때 A일 확률' 같은 상호 연관된 질문들을 던져 모델의 응답이 베이즈 정리(Bayes' theorem)에 부합하는지 측정했습니다. 그 결과, 대부분의 LLM이 이러한 확률적 관계에서 상당한 불일치를 보였으며, 이는 모델이 내부적으로 일관된 확률 분포를 유지하지 못함을 드러냈습니다. 이러한 불일치는 모델의 크기나 학습 데이터의 양과 무관하게 나타나는 경향이 있었습니다.
이번 연구는 LLM이 단순히 텍스트를 생성하는 것을 넘어, 복잡한 추론과 의사결정 과정에 활용될 때 발생할 수 있는 잠재적 위험을 경고합니다. 만약 LLM이 일관성 없는 확률적 믿음을 가지고 있다면, 중요한 정보를 기반으로 한 예측이나 추천 시스템에서 신뢰할 수 없는 결과를 도출할 수 있습니다. 이는 LLM의 환각(hallucination) 문제와도 연결될 수 있으며, 모델의 예측이 왜곡되거나 편향될 가능성을 높입니다. 따라서 LLM의 신뢰성을 높이기 위해서는 이러한 확률적 불일치 문제를 해결하기 위한 추가 연구와 기술 개발이 필수적입니다.