최근 아카이브(arXiv)에 발표된 연구에 따르면, 심장병 예측 분야에서 대규모 언어모델(LLM)이 생성한 규칙 기반 시스템이 전통적인 머신러닝 모델에 비해 예측 성능이 떨어지는 것으로 나타났습니다. 이번 연구는 GPT-4o와 클로드 소네트 4.6(Claude Sonnet 4.6) 등 최신 LLM을 활용하여 규칙을 생성하고, 이를 로지스틱 회귀(Logistic Regression), K-최근접 이웃(K-Nearest Neighbors, KNN), 서포트 벡터 머신(Support Vector Machine, SVM), 나이브 베이즈(Naive Bayes), 결정 트리(Decision Tree), 랜덤 포레스트(Random Forest)와 같은 전통적인 머신러닝 분류기와 비교했습니다.
연구 결과, 전통적인 머신러닝 모델들이 일관되게 LLM 기반 시스템보다 우수한 예측 성능을 보였습니다. 특히 랜덤 포레스트 모델은 90.2%의 정확도와 0.906의 F1-점수를 기록하며 가장 뛰어난 성능을 자랑했습니다. 나이브 베이즈 역시 88.5%의 정확도로 뒤를 이었습니다. 반면, LLM이 생성한 규칙 모델은 클로드 소네트 4.6이 80.3%의 정확도(F1-점수: 0.833), GPT-4o가 70.5%의 정확도(F1-점수: 0.690)를 기록하며 상대적으로 낮은 성능을 보였습니다. 이 실험은 UCI 심장병 데이터셋을 활용하여 정확도, 정밀도, 재현율, F1-점수 등의 지표로 모델 성능을 평가했습니다.
이러한 결과는 의료 인공지능(AI) 시스템에서 예측 성능과 설명 가능성(interpretability) 사이에 중요한 상충 관계(trade-off)가 존재함을 시사합니다. 비록 LLM 기반 시스템의 예측 정확도는 낮았지만, 이들이 제공하는 'IF-THEN' 형태의 진단 논리는 의사나 환자가 AI의 판단 과정을 이해하기 쉽게 만들어 임상 의사결정의 투명성을 크게 향상시킬 수 있습니다. 이는 특히 생명과 직결되는 의료 분야에서 AI 모델의 신뢰성을 확보하는 데 중요한 요소로 작용할 수 있습니다. 따라서 앞으로 의료 AI 개발에서는 단순히 높은 예측 정확도뿐만 아니라, 모델의 설명 가능성을 높이는 방안에 대한 지속적인 연구와 균형 있는 접근이 필요할 것으로 보입니다.