최신 대규모 언어모델(LLM)들이 의학 지식 시험에서는 높은 점수를 받음에도 불구하고, 실제 암 진료 의사결정에서는 심각한 한계를 보인다는 연구 결과가 발표되었습니다. 이는 LLM이 사실적 지식 암기에는 능하지만, 불확실성 속에서 가이드라인 경로를 선택하고 판단을 내리는 복합적인 임상적 추론 능력은 여전히 부족하다는 점을 시사합니다.
연구팀은 '종양 의사결정 경계 벤치마크(ODBB)'를 구축하여 2,005개의 종양학 의사결정 지점(NCCN 가이드라인 1,586개, 대장암 사례 419개)에 대해 9가지 최신 LLM(비공개 4개, 공개 5개)을 평가했습니다. 그 결과, 전체 항목의 42.1%에서 어떤 모델도 정답을 맞히지 못하는 '집단적 실패'가 관찰되었습니다. 특히 실패는 여러 가이드라인 경로 중 하나를 선택하는 '임상적 메타 판단'에 집중되었는데, 이는 모델을 결합해도 해결하기 어려운 일관된 맹점으로 나타났습니다. 흥미롭게도, '결단력'에 초점을 맞춰 미세조정(fine-tuning)된 두 모델(GPT-5.5, Gemini 3.1 Pro Preview)은 다른 모델보다 3~5배 더 위험한 판단을 내렸음에도 점수가 더 높지는 않았습니다. 또한 3~9%의 항목에서는 모델이 올바른 다음 임상 단계를 제시했지만, 실제 결정을 내리지 못하는 '지식은 있으나 결정은 못 하는' 실패도 드러났습니다.
이 연구는 임상 환경에서 LLM을 단독 의사결정의 기반으로 삼는 것이 위험하다는 중요한 시사점을 제공합니다. 이제 LLM의 임상 도입에 있어 모델 자체의 품질보다는, 모델이 자신의 역량 한계에 도달했음을 감지하고 의사결정을 임상의(clinician)에게 라우팅(routing)하는 새로운 아키텍처 개발이 필수적이라는 결론입니다. 이는 AI가 의료 전문가를 대체하기보다는 보조하는 도구로서, AI와 인간의 협력적 의사결정 시스템 구축이 중요함을 강조합니다.