대규모 언어모델(LLM) 기반 인공지능(AI) 도구들이 과학 문헌 검토 과정에서 얼마나 유용하게 활용될 수 있는지에 대한 심층적인 연구 결과가 발표되었습니다. 이 연구는 AI 도구들이 관련 논문 검색 및 해석에는 상당한 도움을 줄 수 있지만, 복잡한 정보 종합과 새로운 연구 방향 제안 등 고차원적인 작업에서는 여전히 인간 전문가의 판단을 대체하기 어렵다는 점을 명확히 보여주었습니다.
연구팀은 '스페인 플룸(Spanish plume)'이라는 특정 기상 현상에 대한 102개 논문으로 구성된 실제 문헌 검토 사례를 벤치마크로 활용했습니다. 6개의 AI 도구를 대상으로 논문 찾기, 해석하기, 종합하기, 미래 연구 제안하기의 네 단계를 평가했습니다. 초기 검색 단계에서 5개 도구가 총 57개 논문을 찾아냈고, 가장 성능이 좋은 도구는 42개를 발견했습니다. 특히 기관 라이브러리 접근 권한을 활용했을 때, 특정 도구(Codex)는 42개에서 82개로, 다른 도구(Claude Code)는 15개에서 79개로 발견율이 크게 증가하여, 접근성이 AI 성능에 미치는 영향을 보여주었습니다. 102개 전체 논문이 주어졌을 때, 3개 도구는 '스페인 플룸'을 중요하게 다룬 18개 논문을 모두 정확히 식별했지만, 단순히 언급만 한 84개 논문 중 40~79%를 중요하게 분류하는 오류를 범했습니다. 또한, 도메인 전문가가 블라인드 평가한 AI의 종합 결과물은 대체로 정확했지만, 통찰력이 부족하고 때로는 근거 없는 주장이나 인용 오류, 과장된 합의 표현을 포함하는 한계를 보였습니다.
이 연구 결과는 LLM이 과학 문헌 검토의 효율성을 높이는 강력한 보조 도구가 될 수 있음을 시사합니다. 특히 방대한 문헌에서 관련 자료를 빠르게 찾아내고 기본적인 내용을 파악하는 데는 큰 도움이 될 것입니다. 그러나 비판적 사고, 심층적인 분석, 그리고 새로운 지식을 창출하는 종합적인 능력은 아직 인간 전문가의 영역으로 남아있습니다. 따라서 연구자들은 AI 도구를 활용하되, 그 한계를 명확히 인지하고 최종적인 판단과 검증은 반드시 직접 수행해야 한다는 중요한 교훈을 얻을 수 있습니다. 이는 AI가 학술 연구의 동반자로서 발전해 나갈 방향을 제시하는 동시에, 인간의 역할이 여전히 핵심적임을 강조합니다.