온라인상 오정보의 확산은 이를 탐지할 수 있는 확장 가능한 시스템에 대한 수요를 꾸준히 증가시키고 있습니다. 기존의 오정보 탐지 방식은 주로 문장의 표면적인 언어적 특징이나 외부 지식 검색에 의존했지만, 최근 발표된 아카이브(arXiv) 논문은 언어모델(LLM)의 내부 표현 공간(representation space)에서 진실성을 기하학적 속성으로 간주하는 새로운 접근 방식을 제안했습니다. 이 연구는 '활성화 엔지니어링(activation engineering)'이라는 기법을 활용하여 트랜스포머(Transformer) 모델의 잠재 기하학(latent geometry)을 분석, 미세조정(fine-tuning) 없이 오정보를 탐지할 수 있는 프레임워크를 선보였습니다.
연구팀은 '대조 활성화 추가(Contrastive Activation Addition, CAA)'의 평균 차이(difference-in-means) 원리를 따라, 참(truthful) 문장과 거짓(false) 문장 쌍에서 나온 활성화(activation)를 대조하여 잔여 스트림(residual stream) 내에 '오정보 방향(misinformation direction)'을 유도했습니다. 추론(inference) 시에는 새로운 주장의 마지막 토큰 활성화(last-token activation)를 이 오정보 방향에 투영하고, 이 투영된 표현을 다층 퍼셉트론(Multilayer Perceptron, MLP)에 입력하여 분류하는 방식입니다. 이 과정은 기반 모델의 미세조정이나 외부 증거 검색, 그리고 대조 쌍 외의 작업별 감독(task-specific supervision)을 전혀 필요로 하지 않습니다. 연구진은 젬마(Gemma), 라마(Llama), 큐웬(Qwen) 계열의 11개 모델(2.7억~120억 매개변수)과 AVeriTeC, LIAR, FACTors 세 가지 팩트체크 벤치마크를 통해 이 방법을 평가했습니다. 그 결과, 오정보 방향은 다양한 모델 규모와 아키텍처에서 복구 가능했으며, 특히 소규모 모델에서 가장 큰 성능 향상을 보이며 제로샷(zero-shot) 및 퓨샷 프롬프팅(few-shot prompting) 기준선을 능가했습니다.
이 연구 결과는 진실성(truthfulness)이 사전 학습된 언어모델의 잠재 공간(latent space) 내에서 구조화되고 선형적으로 분리 가능한 개념임을 시사합니다. 이는 언어모델이 단순히 단어의 통계적 관계를 학습하는 것을 넘어, 문장의 사실 여부와 같은 고차원적인 의미론적 속성을 내재적으로 인코딩하고 있음을 보여줍니다. 이러한 '해석 가능성(interpretability)' 기반의 오정보 탐지 방법은 기존의 검색 기반(retrieval-based) 파이프라인을 보완하는 실용적인 대안이 될 수 있습니다. 특히 모델 미세조정 없이 작동하므로, 다양한 모델과 도메인에 걸쳐 오정보 탐지 시스템을 더 효율적이고 유연하게 구축할 수 있는 길을 열어줄 것으로 기대됩니다. 이는 AI 기반 팩트체크 시스템의 확장성과 접근성을 크게 향상시킬 잠재력을 가집니다.