대규모 언어모델(LLM)이 동일한 질문에 대해 매번 다른 답변을 내놓을 때, 이 변화가 모델이 '무엇을 모르는지'를 얼마나 잘 나타낼까요? 최근 아카이브(arXiv)에 발표된 이자르 알리(Izhar Ali)의 연구는 이 질문에 대해 흥미로운 결론을 제시합니다. 연구 결과에 따르면, 단일 LLM의 '온도(temperature)'를 조절하여 답변의 다양성을 높이는 방식은 모델의 진정한 불확실성을 포착하는 데 한계가 있으며, 오히려 다양한 모델로 구성된 앙상블(ensemble)이 훨씬 효과적이라고 합니다.
이 연구는 두 가지 접근 방식을 비교했습니다. 첫째는 단일 LLM을 온도(τ)를 1로 설정하고 100번 반복 실행하는 방식이었고, 둘째는 24개의 서로 다른 LLM 앙상블을 온도(τ)를 0으로 설정하고 각각 한 번씩 실행하는 방식이었습니다. 마르첸코-파스투어(Marchenko-Pastur) 무작위 행렬 테스트를 사용하여 두 경우 모두에서 신호와 샘플링 노이즈를 분리했습니다. 그 결과, 단일 모델을 반복 실행했을 때는 MMLU, HellaSwag, GSM8K 등 세 가지 벤치마크와 다섯 가지 문제 유형에서 노이즈 이상의 유의미한 차원(dimension)이 최대 하나만 나타났습니다. 반면, 다양한 LLM 앙상블에서는 네 개의 고유값(eigenvalue)이 노이즈 경계를 넘어섰으며, 이는 모델들이 서로 다른 방식으로 '모르는 것'을 드러내고 있음을 시사합니다.
이 연구는 '자기 일관성(self-consistency)' 기법이 질문별 불확실성 추정에는 정확하지만, 질문 간의 구조적인 불확실성(예: 관련 질문들이 함께 틀리는 경향)을 파악하는 데는 한계가 있음을 보여줍니다. 즉, 단일 모델의 확률적 샘플링(stochastic sampling)은 '인식론적으로 얕다(epistemically shallow)'는 결론입니다. 이는 LLM이 단순히 다양한 답변을 생성하는 것을 넘어, 모델의 한계와 지식 부족을 심층적으로 이해하기 위해서는 근본적으로 다양한 아키텍처와 학습 데이터를 가진 모델들을 함께 활용하는 것이 중요함을 의미합니다. 따라서 LLM 기반 시스템의 신뢰성을 높이고자 할 때, 단순히 샘플링 파라미터를 조절하기보다는 모델 다양성을 확보하는 전략이 더욱 효과적일 것입니다.