대규모 언어모델(LLM)이 문맥 손상(corrupted context)을 내부적으로 감지하더라도, 최종 답변의 오류 여부를 신뢰성 있게 예측하지 못하는 '앎-표현 격차(Knowing-Saying Gap)'가 존재한다는 연구 결과가 나왔습니다. 아르카이브(arXiv)에 발표된 이 논문은 선형 프로브(linear probe)가 LLM 내부에서 문맥 손상을 거의 완벽하게 찾아내지만, 이러한 내부 인식이 모델의 최종 답변 정확도와는 직접적으로 연결되지 않는다는 점을 밝혀냈습니다. 이는 LLM이 무엇이 잘못되었는지 '알고' 있지만, 이를 사용자에게 '표현'하지 못하는 문제를 드러냅니다.
연구팀은 다단계 산술 연쇄(multi-hop arithmetic chains)와 같은 복잡한 추론 과정에서 이 현상을 관찰했습니다. 문맥 손상을 감지하는 프로브가 최종 답변의 정확성에 대해 무의미한 정보를 제공했으며, 모델이 구조화된 신뢰도(confidence) 형식을 따르도록 강제했을 때도 오류율을 구분할 수 없는 두 가지 값으로 수렴하는 경향을 보였습니다. 또한, 여러 단계에 걸쳐 프로브가 지속적으로 활성화되더라도 올바른 결과와 잘못된 결과를 분리하지 못했습니다. 이러한 '알지만 말하지 못하는' 패턴은 추론 모델을 포함한 다양한 모델 계열에서 공통적으로 나타났습니다.
이 연구는 실시간 LLM 모니터링 및 배포 전략에 중요한 함의를 가집니다. 프로브 기반의 개입(intervention)은 모델과 오류 유형에 따라 효과가 크게 달라졌습니다. 예를 들어, '브랜치 앤 픽(branch-and-pick)' 방식은 여러 모델에서 긍정적인 효과를 보였으며, 특히 라마 3.1-8B(Llama-3.1-8B) 모델에서는 4개의 오류를 수정하고 올바른 추론을 손상시키지 않는 유일한 비파괴적(non-breaking) 개입으로 나타났습니다. 반면, '재프롬프트(reprompt)'나 '이전 내용 교체(replace-prior)'와 같은 방식은 잘못된 추론을 수정하는 만큼 올바른 추론을 손상시키는 경향을 보였습니다. 이는 언어모델의 '말로 표현된 신뢰도(verbalised confidence)'만으로는 부족하며, 프로브 기반 모니터링이 필수적인 보완책임을 시사합니다. 궁극적으로, 배포 가능한 최적의 해결책은 모델과 오류 유형을 인지하는 맞춤형 라우팅(routing) 전략이 될 것입니다.