인공지능(AI)이 스스로 연구를 수행하고 논문을 작성하는 'AI 과학자' 시스템의 발전이 과학계의 주목을 받고 있습니다. 이러한 자율 연구 시스템은 과학적 발견을 획기적으로 가속화할 잠재력을 지니지만, AI가 생성한 논문의 품질을 객관적으로 평가하고 비교하는 것은 여전히 어려운 과제로 남아 있었습니다. 최근 발표된 연구에서는 이 문제를 해결하기 위해 최첨단 대규모 언어모델(LLM)을 활용한 자동화된 동료 평가(peer-review) 시스템을 제안하며, AI 과학자 시스템의 연구 성과를 벤치마킹하는 새로운 프로토콜을 제시했습니다.
이 연구팀은 독창성(originality), 과학적 엄밀성(scientific rigor), 명확성(clarity), 중요성(significance)이라는 네 가지 핵심 차원을 기준으로 과학 논문을 평가하는 자동화된 동료 평가 시스템을 구축했습니다. 이를 통해 사카나 AI(Sakana AI) v1 및 v2, 사이클리서처(CycleResearcher), 데이터-투-페이퍼(Data-to-Paper) 등 네 가지 주요 AI 과학자 프레임워크를 평가했습니다. 상업용 자율 AI 과학자 회사인 FARS가 발행한 15개의 연구 제안을 각 프레임워크에 적용하여 총 60편의 논문을 생성했으며, 여기에 FARS의 벤치마크 논문 15편을 더해 평가를 진행했습니다. 평가에는 GPT-5.4, 제미니(Gemini), 클로드(Claude) 등 세 가지 독립적인 LLM 평가자가 사용되었습니다.
평가 결과, FARS의 벤치마크 논문들이 다른 모든 경쟁 프레임워크를 크게 능가하는 것으로 나타났습니다. 1~5점 척도에서 FARS 논문은 평균 2.14~2.47점을 기록한 반면, 다른 시스템들은 1.00~1.87점에 머물렀습니다. 특히 제미니와 클로드 평가에서는 FARS 점수가 차순위 시스템보다 2배 이상 높았습니다. 제미니와 클로드 간에는 높은 평가 일치도(상관계수 0.907)를 보였으며, 종합 점수와도 매우 강한 상관관계(상관계수 0.961)를 보여 자동화된 평가의 신뢰성을 입증했습니다. 다만 GPT-5.4는 다른 LLM들과 평가 기준이 다소 달라 일치도가 낮게 나타났습니다.
이번 연구는 AI 과학자 시스템에 대한 최초의 정량적 벤치마크를 제시했다는 점에서 큰 의미가 있습니다. 이는 다중 모델 LLM 평가가 자율 연구 품질을 평가하는 데 있어 확장 가능하고 일관된 프레임워크를 제공할 수 있음을 보여줍니다. 앞으로 AI 과학자 시스템의 발전과 함께, 이처럼 객관적이고 자동화된 평가 시스템은 연구의 투명성과 효율성을 높이고, 궁극적으로는 인류의 과학적 지식 확장에 기여할 것으로 기대됩니다. 또한, 연구자들은 AI가 생성한 연구 결과를 더욱 신뢰하고 활용할 수 있게 될 것입니다.