최근 발표된 논문에 따르면, 과학적 주장의 합의 여부를 검증하는 인공지능(AI) 에이전트의 성능을 향상시키기 위한 핵심 방법론으로 '재귀적 지식 구성(Recursive Knowledge Construction)'이 제시되었습니다. 이는 AI가 증거를 검색하고, 중간 상태를 구성하며, 충분한 정보가 모였는지 판단하는 과정을 반복하는 방식으로, 기존의 단순한 정보 축적 방식보다 훨씬 높은 정확도를 보여줍니다.
이 연구는 두 가지 핵심 설계 축을 탐구했습니다. 첫째, 재귀 과정이 무엇을 구축하는가(증거 상태)와 둘째, 재귀를 제어하는 것(언제 멈출지 결정하는 판단자)입니다. 연구팀은 분자 생물학, 핵 물리학, 천문학 등 5개 분야의 718개 과학 주장으로 구성된 새로운 데이터셋인 ProClaim-eval을 구축하고, ProClaim이라는 도구를 활용하여 모델의 컨텍스트(in-context) 외부에서 증거 상태를 유지하도록 했습니다. 그 결과, 증거 상태를 외부에서 구조화하여 유지하는 방식이 인컨텍스트(in-context) 정보 축적 방식보다 성능을 크게 개선했으며, 증거 상태에 무엇을 저장하는지도 중요함이 밝혀졌습니다. 또한, 증거 상태를 읽고 훈련된 판단자(trained judge)가 고정된 라운드(fixed-round) 방식으로 멈추는 것보다 더 나은 성능을 보였습니다.
이러한 발견은 과학 분야에서 AI 에이전트가 복잡한 정보를 처리하고, 과학적 합의를 검증하는 데 있어 중요한 설계 원칙을 제공합니다. 특히, 모델의 제한된 컨텍스트 창(context window)을 넘어 지속적으로 지식을 구축하고 활용하는 능력은 AI가 단순한 정보 검색을 넘어 실제 과학 연구를 지원하는 데 필수적입니다. 이 연구 결과는 향후 과학 분야의 AI 에이전트 개발 방향을 제시하며, 연구자들이 방대한 문헌 속에서 신뢰할 수 있는 정보를 효율적으로 식별하고 활용하는 데 큰 도움을 줄 것으로 기대됩니다.