최근 연구에 따르면, 대규모 언어모델(LLM)을 활용한 의료 인공지능(AI)이 일반적인 질문 응답에는 강하지만, 복잡한 의료 추론 문제에서는 성능이 저하되는 경향을 보였습니다. 특히 여러 AI 에이전트가 토론하는 방식(multi-agent debate)조차 단일 모델의 강력한 프롬프트(prompt) 성능을 넘어서지 못하는 경우가 많았습니다. 이는 기존 시스템이 초기 질문에만 의존해 필요한 지식이나 전문가를 선택하기 때문에, 추론 과정에서 발생하는 실제 정보 격차를 해결하지 못했기 때문입니다.
이러한 한계를 극복하기 위해, 새로운 '도전 인식 지식 활용(Challenge-Aware Knowledge Recruitment)' 방식이 제안되었습니다. 핵심은 외부 '챌린저(CHALLENGER)' 에이전트가 추론 과정을 실시간으로 모니터링하며, 특정 사실 정보나 전문 지식의 부족한 부분을 식별하는 것입니다. 이렇게 파악된 정보 격차는 필요한 지식 검색이나 논의 중인 전문가를 추가로 투입하는 트리거(trigger) 역할을 합니다. MEDAGENTSBENCH의 어려운 하위 데이터셋(862개 질문)에서 이 방식은 기존의 선제적 지식 검색보다 훨씬 뛰어난 성능을 보였으며, 9개 데이터셋 중 8개에서 정확도를 향상시키고, '챌린저 전용' 방식 대비 6%포인트의 추가 개선을 달성했습니다. 특히 GPT-4.1-mini 기반 MedQA 정확도를 46%에서 54%로 끌어올리는 등, 전문가 투입 시점과 방식의 중요성을 입증했습니다.
이 연구 결과는 의료 AI 시스템 설계에 있어 외부 자원(지식, 전문가)을 언제, 왜 투입해야 하는지가 핵심적인 설계 요소임을 시사합니다. 단순히 많은 정보를 제공하거나 여러 전문가를 참여시키는 것보다, 추론 과정의 맥락을 이해하고 필요한 순간에 정확히 개입하는 '도전 인식' 접근 방식이 의료 진단 정확도를 높이는 데 결정적인 역할을 합니다. 이는 향후 의료 분야뿐만 아니라 법률, 금융 등 고도의 전문성과 정확성이 요구되는 다양한 영역에서 LLM 기반 에이전트 시스템의 신뢰성과 효율성을 크게 향상시킬 잠재력을 가지고 있습니다.