최근 공개된 스판다(Spanda)는 대규모 언어모델(LLM)이 생성하는 정보의 불확실성, 즉 환각(hallucination)을 기존 방식보다 획기적으로 빠르게 탐지하는 새로운 기술입니다. 이 기술은 LLM의 답변이 얼마나 신뢰할 수 있는지 판단하는 '인식론적 불확실성(epistemic uncertainty)'을 서브-마이크로초(sub-microsecond) 단위로 측정하며, 이는 기존 방식 대비 약 9만 배 빠른 속도입니다. 특히 GPU 없이 순수 CPU만으로 작동하여 LLM 서비스의 운영 비용을 크게 절감할 수 있다는 점에서 주목받고 있습니다.
기존의 인식론적 불확실성 측정 방식인 의미론적 엔트로피(Semantic Entropy)는 여러 개의 생성 경로를 비교하기 위해 복잡한 자연어 추론(NLI) 모델을 사용했습니다. 이 방식은 K개의 샘플에 대해 K(K-1)/2번의 신경망 평가를 요구하여 계산 비용이 기하급수적으로 증가하며, 약 90밀리초(ms)의 GPU 오버헤드를 발생시켜 고성능 프로덕션 환경에는 적합하지 않았습니다. 반면, 스판다는 '정확 일치 정규화 엔트로피(Exact-Match Normalized Entropy, Rsc)'라는 새로운 제로-파라미터, 제로-GPU 메트릭을 도입하여 결정론적 어휘 클러스터(lexical clusters)를 기반으로 불확실성을 직접 계산합니다. 1.5B에서 120B에 이르는 다양한 모델 규모에서 스판다는 기존 신경망 방식과 유사하거나 더 나은 정확도를 보이면서도 압도적인 속도와 낮은 자원 소모를 자랑합니다.
스판다의 핵심 발견 중 하나는 '일관성 스케일링 법칙(Coherence Scaling Law)'입니다. 모델의 규모가 커질수록(1.5B에서 27B 파라미터로) 올바른 예측이 동일한 어휘 시퀀스로 수렴하는 경향이 있으며, 7B 이상의 모델에서는 복잡한 NLI 모델 없이도 동일한 판별력을 보인다는 것입니다. 그러나 120B와 같은 최신 모델에서는 '확신 모드 붕괴(Confident Mode Collapse)' 현상이 관찰되었습니다. 이는 모델이 잘못된 사실을 모든 경로에서 동일하게 확신하며 환각을 일으키는 것으로, 외부 정보 접지(RAG) 없이는 자가 일관성(self-consistency)만으로 진실을 판단하는 것이 위험할 수 있음을 시사합니다. 스판다는 이러한 위험을 감지하고 LLM의 신뢰성을 높이는 데 기여할 수 있으며, 특히 고성능이 요구되는 실시간 애플리케이션에서 LLM의 활용 범위를 넓힐 것으로 기대됩니다.