대규모 언어모델(LLM)이 때때로 매우 높은 확신을 가지고 잘못된 답변을 내놓는 현상은 그동안 모델의 내부 추론(inference) 과정이 불안정하거나 취약하기 때문으로 여겨져 왔습니다. 하지만 최근 아키라 오쿠토미(Akira Okutomi) 연구원의 새로운 연구는 이러한 '고신뢰 오답(high-confidence errors)'이 단순히 취약한 추론의 증거가 아니라, '안정적인 오정렬(stable miscalibration)'이라는 다른 가능성을 제시했습니다. 이는 모델이 틀린 답에 대해 확신을 가질 때, 작은 입력 변화에도 그 잘못된 확신이 유지되는 현상을 의미합니다.
이 연구는 두 가지 진단 방법을 결합하여 안정적인 오정렬을 분석했습니다. 첫째, '레이블 인식 출력 수준 감사 점수(label-aware output-level audit score)'를 통해 모델의 확신도 변화와 과신 오류(overconfident mistakes)를 측정했습니다. 둘째, '내부 민감도 프로브(internal sensitivity probe)'를 사용하여 모델의 은닉 상태(hidden-state) 움직임을 측정했습니다. 다중 도메인 이진 사실 감사 세트(multi-domain binary factual audit set)에 대한 실험 결과, 감사 점수는 모델이 답변을 보류(abstention)할 때 의사결정 손실(decision loss)이 줄어드는 지점을 잘 추적했습니다. 또한, 자기 비판적 프롬프트(self-critical prompting)를 사용했을 때 세 가지 공개 가중치 모델(open-weight models)에서 일관되게 은닉 상태 민감도가 감소하는 것이 관찰되었습니다. 이는 단순히 출력 수준에서 답변을 보류하는 패턴이 아니라, 프롬프트에 의해 내부적으로 안정화가 유도될 수 있음을 시사합니다.
이 연구 결과는 LLM의 신뢰성(reliability)과 보정(calibration)에 대한 이해를 심화시키는 데 중요한 의미를 가집니다. 기존에는 고신뢰 오답이 모델의 내부 불안정성을 나타낸다고 보았지만, 이제는 일부 고신뢰 오답이 '안정적이고 오정렬된(stable and miscalibrated)' 상태일 수 있다는 가능성이 제기된 것입니다. 이는 모델이 확신을 가지고 올바른 답변을 내놓을 때와 틀린 답변을 내놓을 때의 내부 민감도 차이가 명확하지 않다는 점에서 더욱 복잡한 문제임을 보여줍니다. 따라서 LLM의 성능을 평가하고 개선할 때, 단순히 정답률을 높이는 것을 넘어 모델의 '확신도(confidence)' 자체를 더 정교하게 보정하는 방안에 대한 고민이 필요함을 시사합니다.