최근 연구에 따르면, 최신 대규모 언어모델(LLM)들이 실제 사실 검증(fact-check) 작업에서 예상보다 훨씬 큰 불일치를 보이는 것으로 나타났습니다. 5개의 주요 LLM이 1,000개의 실제 사용자 질문에 대한 사실 여부를 판단하도록 했을 때, 63%의 질문에서 모델 간 의견이 일치하지 않았으며, 심지어 23%에서는 판정 결과가 두 단계 이상 크게 차이 나는 것으로 밝혀졌습니다. 이는 LLM이 벤치마크에서는 높은 정확도를 보이지만, 실제 복잡한 상황에서는 서로 다른 판단을 내릴 수 있음을 시사합니다.
Lenz Research 등이 수행한 이 연구는 5개 선도적인 LLM에 '참'부터 '거짓'까지 5단계 척도로 사실 여부를 판정하고, 각 답변에 대한 자신감(confidence)을 10점 척도로 보고하도록 했습니다. 그 결과, 997개의 유효한 답변 중 63%에서 최소 한 모델이 다수 의견과 다르거나 아예 다수 의견이 형성되지 않았습니다. 특히, '참'이나 '거짓'과 같은 명확한 판정에서는 모델들이 절반 정도 일치했지만, 모호한 '중간' 판정에서는 일치율이 10% 수준으로 급격히 떨어졌습니다. 또한, 모델들은 답변에 대해 76%가 9점 또는 10점의 높은 자신감을 보였지만, 이 자신감 수준조차 모델 간 일치율은 낮아(크리펜도르프 알파 0.44), 자신감이 높다고 해서 모델들이 동의하는 것은 아님을 보여주었습니다.
이러한 연구 결과는 LLM을 정보 검증 도구로 활용할 때 신중해야 함을 강조합니다. 사용자가 어떤 LLM을 선택하느냐에 따라 사실 여부에 대한 판정이 크게 달라질 수 있기 때문입니다. 이는 LLM이 단순 정보 검색을 넘어 비판적 사고와 사실 판단을 요구하는 영역으로 확장될수록 더욱 중요한 문제가 됩니다. 앞으로 LLM의 신뢰성을 높이고, 다양한 모델 간 일치도를 개선하기 위한 연구와 기술 개발이 필요하며, 사용자는 LLM의 답변을 맹신하기보다 교차 확인하는 습관을 들여야 할 것입니다.