대규모 언어모델(LLM)이 불확실한 상황에서 어떻게 예측을 수행하는지에 대한 흥미로운 연구 결과가 발표되었습니다. 새로운 논문 '무지의 기하학: LLM은 베이즈 사전 확률을 조절할 시점을 안다(The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors)'에 따르면, LLM은 문맥 정보가 부족할 때 훈련 데이터의 단어 빈도(unigram distribution)를 베이즈 사전 확률(Bayesian prior)처럼 활용하는 고유한 내부 구조를 가지고 있음이 밝혀졌습니다.
연구팀은 라마(Llama), 큐웬(Qwen), 젬마(Gemma), 파이티아(Pythia) 등 0.4B에서 405B에 이르는 다양한 매개변수 규모의 모델에서 '무지 방향(direction of ignorance)'이라는 기하학적 구조를 발견했습니다. 이는 모델의 언임베딩(unembedding) 행렬 내 특정 방향이 훈련 코퍼스의 단어 빈도 분포를 인코딩하며, 모델이 불확실할 때 이 사전 지식으로 회귀하는 역할을 합니다. 최종 예측 상태를 이 방향에 투영하면 토큰별 '사전 로딩 계수(prior loading factor)' 람다(λ)가 도출되는데, 이 람다 값은 문맥 정보가 풍부해질수록 꾸준히 감소하는 경향을 보였습니다.
이러한 발견은 LLM이 예측 상태를 사전 확률과 문맥 기반 가능성(context-driven likelihood)이라는 두 직교 벡터로 분해하여 베이즈 업데이트를 수행한다는 것을 의미합니다. 특히 람다 계수는 모델이 문맥 정보의 유용성에 따라 사전 지식에 대한 의존도를 능동적으로 조절한다는 것을 보여줍니다. 또한, 이 '무지 방향'이 예측 과정에 실제로 영향을 미치며, 람다 값을 조절함으로써 예측이 사전 확률에 가까워지거나 멀어지게 할 수 있음이 인과적으로 입증되었습니다. 이 연구는 LLM의 내부 작동 방식을 더 깊이 이해하고, 모델의 예측을 더 투명하게 해석하며 제어하는 데 중요한 기반을 제공할 것으로 기대됩니다.