대규모 언어모델(LLM)이 의료 분야에서 복잡한 계산을 수행하는 능력을 평가하고 향상시키기 위한 새로운 벤치마크 'MedCalc-Pro'와 에이전트 프레임워크가 발표되었습니다. 기존 LLM 평가 방식은 단순한 의료 계산 시나리오에 초점을 맞췄지만, 실제 임상 환경은 여러 계산기를 동시에 사용하거나, 중첩된 계산이 필요하며, 질문이 명확하지 않은 경우가 많습니다. 이번 연구는 이러한 현실적인 복잡성을 반영하여 LLM의 실제 의료 현장 적용 가능성을 크게 높였습니다.
MedCalc-Pro 벤치마크는 단일 계산, 다중 계산, 중첩 계산의 세 가지 난이도로 구성되며, 14개 임상 부서에 걸친 77개 의료 계산기와 관련된 2,268개의 실제 임상 사례를 포함합니다. 연구팀은 또한 기존 프레임워크의 한계를 극복하기 위해 다중 도구 선택과 중첩 도구 호출을 지원하고, 구조화된 검증과 증거 검토를 통해 매개변수 오류 전파를 억제하는 새로운 에이전트 프레임워크를 제안했습니다. 이 프레임워크는 오픈소스, 클로즈드소스, 의료 특화 LLM을 대상으로 한 체계적인 비교에서 모든 작업 설정에서 최고의 성능을 달성했습니다.
이 연구는 LLM이 단순한 정보 검색을 넘어 실제 임상 의사 결정 지원 도구로 발전할 수 있는 중요한 발판을 마련했습니다. 복잡한 의료 계산을 정확하게 처리하는 능력은 의료진의 업무 부담을 줄이고, 진단 및 치료 과정의 오류를 최소화하며, 궁극적으로 환자 안전을 향상시키는 데 기여할 수 있습니다. 앞으로 이와 같은 기술 발전은 의료 AI의 신뢰성을 높이고, 더 광범위한 의료 서비스 혁신을 이끌 것으로 기대됩니다.