대규모 언어모델(LLM)은 다양한 분야에서 혁신을 가져오고 있지만, 의료 분야의 임상 계산에서는 여전히 치명적인 약점을 드러냅니다. 단 하나의 숫자 오류도 환자에게 잘못된 진단이나 권고로 이어질 수 있기 때문입니다. 현재는 이러한 계산기를 일일이 검증된 함수로 하드코딩하는 방식이 일반적이지만, 이는 확장성이 떨어지고 새로운 계산기가 나올 때마다 수작업이 필요하다는 한계가 있습니다.
이러한 문제를 해결하기 위해 연구진은 새로운 접근 방식인 '프로그램-해결(Program-Solve)' 인터페이스를 제안했습니다. 이 방식에서 LLM은 직접 계산을 수행하지 않습니다. 대신, 특정 임상 시나리오에 맞는 파이썬(Python) 코드를 생성하고, 이 코드를 제한된 로컬 실행기(local executor)가 실행하여 정확한 계산 결과를 얻도록 합니다. 즉, LLM의 역할은 '계산'에서 '어떤 코드를 어떻게 사용할지 결정'하는 것으로 바뀝니다. 연구팀은 1,100개의 사례와 55개의 계산기로 구성된 'MedCalc-Bench Verified' 벤치마크를 사용하여 Qwen2.5-7B 및 Qwen2.5-32B-AWQ 모델을 대상으로 이 방식을 평가했습니다. 그 결과, 7B 모델에서는 직접 계산 방식과 큰 차이가 없었지만, 32B 모델에서는 프로그램-해결 방식이 90.53%의 정확도를 기록하며 직접 계산(83.47%)보다 7.05%포인트 높은 성능을 보였습니다.
이 연구는 LLM의 수학적 한계를 극복하고 임상 환경에서의 신뢰성을 높일 수 있는 잠재적인 방향을 제시합니다. LLM이 복잡한 추론과 자연어 이해에는 뛰어나지만, 정밀한 수치 계산에는 여전히 취약하다는 점을 인정하고, 각자의 강점을 활용하는 하이브리드 접근 방식의 중요성을 강조합니다. 이는 단순히 의료 분야를 넘어, LLM이 정확한 수치 계산이 필요한 금융, 공학 등 다양한 전문 분야에 적용될 때 발생할 수 있는 오류를 줄이는 데 기여할 수 있습니다. 다만, 이 방식 역시 검증된 공식과 정확한 변수 추출이 선행되어야 하며, 모든 오픈소스 모델에 일관된 이점을 제공하는 것은 아니라는 점도 함께 고려해야 합니다.