대규모 언어모델(LLM)이 연구 수준의 문제 해결에서 잠재력을 보이고 있지만, 이를 체계적으로 평가할 수 있는 종합적인 자원과 벤치마크가 부족했습니다. 최근 Jiarui Yao 등 연구진은 이러한 격차를 해소하기 위해 'OpenFrontiers'라는 새로운 교차 학문적 자원을 발표했습니다. OpenFrontiers는 미해결 연구 문제들을 구조화한 방대한 코퍼스와 최근 해결된 수학 문제들을 포함하는 회고적 벤치마크를 결합하여 LLM의 과학적 재발견(scientific rediscovery) 능력을 측정하는 기반을 마련합니다.
OpenFrontiers는 크게 두 가지 요소로 구성됩니다. 첫째, 12,151개에 달하는 다양한 분야의 미해결 연구 문제(open research problems) 코퍼스입니다. 이 코퍼스에는 문제 진술, 배경, 현재까지의 진행 상황 등 상세 정보가 기록되어 있습니다. 둘째, 200개의 수학 문제로 구성된 벤치마크입니다. 이 중 110개는 2026년에 해결된 문제이며, 90개는 여전히 미해결 상태입니다. 특히, 이 문제들은 Lean 4(수학 정리 증명 시스템)로 검증 가능한 형태로 작성되었고, 자동화된 검증 도구와 독립적인 검토를 거쳤습니다. 연구팀은 LLM 에이전트들을 대상으로 폐쇄형(closed-book), 고정 검색(frozen-retrieval), 실시간 웹(live-web) 조건에서 평가를 진행했으며, 폐쇄형 환경에서의 성공적인 재발견은 매우 드물었고, 실시간 웹에서의 성공은 대부분 기존 솔루션 검색에 의존했음을 확인했습니다.
OpenFrontiers의 등장은 LLM의 연구 능력 발전에 중요한 의미를 가집니다. 기존에는 LLM이 단순 정보 검색이나 요약, 코드 생성 등 보조적인 역할에 머물렀지만, 이제는 실제 과학적 난제를 해결하는 '발견자'로서의 잠재력을 체계적으로 평가하고 연구할 수 있는 도구가 생긴 것입니다. 이 벤치마크는 LLM이 단순히 기존 지식을 재구성하는 것을 넘어, 새로운 지식을 생성하고 미해결 문제를 해결하는 데 얼마나 기여할 수 있는지 측정하는 데 핵심적인 역할을 할 것입니다. 또한, 연구자들은 이 자원을 활용하여 LLM의 한계를 파악하고, 진정한 과학적 추론 및 문제 해결 능력을 향상시키기 위한 새로운 알고리즘과 모델을 개발하는 데 집중할 수 있게 될 것입니다.