최근 대규모 언어모델(LLM)과 비전-언어 모델(VLM)의 발전으로 멀티모달(multimodal) 데이터에 대한 추론(reasoning)이 가능해지면서, 의료 분야에서 의사 결정 지원이나 환자 분류(triaging)와 같은 임상 적용 기회가 확대되고 있습니다. 하지만 기존 의료 AI 벤치마크들은 다중 턴 대화를 지원하지만 이미지가 없거나, 멀티모달 입력을 제공해도 단일 턴 질의응답(QA)에만 초점을 맞춰 실제 임상 환경을 제대로 반영하지 못하는 한계가 있었습니다.
이러한 격차를 해소하기 위해 'IMCBench'라는 새로운 벤치마크가 등장했습니다. IMCBench는 실제 공개된 임상 이미지와 합성 환자 프로필을 결합하여 환자와 의료진 간의 현실적인 다중 턴 대화를 시뮬레이션합니다. 이 벤치마크는 안전성(safety), 정확성(accuracy), 그리고 진단 시 불확실성(uncertainty)의 적절한 사용이라는 세 가지 임상 차원에서 대화의 품질을 평가합니다. 연구팀은 Claude, GPT, Nova, Llama 등 네 가지 모델 계열의 여덟 가지 최신 멀티모달 모델을 벤치마킹했으며, 전문가 의료진의 주석(annotation)으로 보정된 'LLM-as-Jury' 방식으로 1~5점 척도로 점수를 매겼습니다. 그 결과, Claude Opus 4.6이 3.61점으로 가장 높은 종합 점수를 기록했고, Claude Sonnet 4.6 (3.30점), GPT-5.2 (3.29점)가 그 뒤를 이었습니다. 하지만 어떤 모델도 모든 평가 차원에서 압도적인 성능을 보이지는 못했으며, 특히 악성(malignant) 및 희귀 질환 조건에서는 안전성 점수가 평균 0.27점 하락하는 경향을 보였습니다.
추가 분석(ablation study)에 따르면, 시각적 입력(visual input)과 전자의무기록(EHR) 문맥 정보 모두 안전한 진료 안내에 기여하는 것으로 나타났습니다. 이 두 가지 요소 중 하나라도 제거될 경우 안전성 점수가 평균 0.18점, 0.23점씩 하락했습니다. 특히 강력한 모델일수록 시각적 특징을 더 효과적으로 활용하는 경향을 보였습니다. 이러한 연구 결과는 단순히 정확한 임상 설명이 안전한 환자 안내를 보장하지 않으며, 의료 AI 개발에 있어 다차원적인 평가 프레임워크의 필요성을 강력히 시사합니다. IMCBench는 멀티모달 LLM이 실제 의료 환경에서 안전하고 효과적으로 활용될 수 있도록 모델 개발 및 평가의 중요한 이정표를 제시할 것입니다.