대규모 언어모델(LLM)이 의료 분야에서 활용도가 높아지는 가운데, 진단 정확도뿐 아니라 자신의 판단에 대한 '자신감(confidence)'이 얼마나 신뢰할 수 있는지가 중요해지고 있습니다. 최근 아카이브(arXiv)에 발표된 연구는 LLM이 의료 추론 과정에서 메타인지적 민감성(metacognitive sensitivity)을 부분적으로 보인다는 사실을 밝혀냈습니다. 이는 LLM이 자신의 지식 상태와 한계를 어느 정도 인지하고 있음을 의미합니다.
연구팀은 알츠하이머병(AT-NCD)과 우울증 관련 인지 장애(DRCI) 진단을 중심으로 45개의 가상 임상 사례(synthetic vignettes)를 만들었습니다. 각 사례는 증거의 강도, 상충하는 증거, 누락된 정보 등을 다양하게 조절했으며, 이를 세 가지 프롬프트 변형으로 GPT-4.1-nano 모델에 제시했습니다. 총 135번의 진단 시도에서 모델은 93.5%의 높은 진단 정확도를 보였고, 평균 자신감은 78.4%였습니다. 특히, 진단 경계에서 증거가 멀어질수록 자신감이 증가하고, 정보가 누락될 때는 자신감이 감소하는 경향을 보였습니다. 또한, 올바른 진단에서 잘못된 진단보다 더 높은 자신감을 유지했습니다.
이러한 결과는 LLM의 자신감 수준이 단순히 무작위적이거나 무의미한 것이 아니라, 증거의 질과 불확실성에 따라 조절되는 부분적인 메타인지 능력을 가지고 있음을 시사합니다. 이는 의료 분야에서 LLM이 단순한 정보 검색 도구를 넘어, 의사결정 지원 시스템으로서 더 큰 역할을 할 수 있음을 의미합니다. 그러나 연구는 상충하는 증거가 있는 중간 정도의 알츠하이머병 사례에서 모델이 우울증 관련 인지 장애 쪽으로 치우치면서 실제 정확도보다 더 높은 자신감을 유지하는 오류가 집중적으로 발생했음을 지적했습니다. 이는 LLM의 자신감 품질을 단순히 정확도나 모델 성능만으로 판단하기보다 직접 측정해야 할 필요성을 강조하며, 향후 의료 LLM 개발에서 이러한 '국소적 보정 실패(localized calibration failure)'를 개선하는 것이 중요한 과제임을 보여줍니다.