최근 발표된 'OpenDiscoveryTrace'는 자율형 AI 과학자(AI scientist)의 평가 방식을 혁신할 새로운 공개 데이터셋입니다. 기존에는 AI 과학자가 생성한 코드, 가설, 논문 등 최종 결과물만을 평가했지만, 이는 AI가 어떻게 그 결과에 도달했는지, 즉 사고 과정(reasoning process)을 알 수 없다는 한계가 있었습니다. 이로 인해 AI의 과학적 방법론을 감사하거나, 실패 원인을 진단하고, 체계적인 추론과 우연한 추측을 구분하기 어려웠습니다. OpenDiscoveryTrace는 이러한 문제를 해결하기 위해 AI 모델의 추론 궤적(trajectory)을 상세히 기록한 데이터셋을 제공합니다.
OpenDiscoveryTrace는 약물 발견, 재료 과학, 유전체학, 과학 문헌 분석 등 124가지 과학적 태스크를 수행하는 558개의 완전한 AI 과학 에이전트 궤적을 담고 있습니다. 각 궤적은 AI 모델의 '생각(thoughts)', '도구 호출(tool calls)', '관찰(observations)', '오류(errors)', '수정 트리거(revision triggers)', '자체 보고 신뢰도(self-reported confidence)' 등 9가지 필드를 단계별로 구조화하여 기록합니다. 이 데이터셋에는 GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro와 같은 최첨단 모델과 Qwen2.5-7B, Mistral-7B-v0.3 등 오픈소스 모델을 포함한 총 7가지 모델의 데이터가 포함되어 있습니다. 초기 분석 결과, 최종 성공률은 비슷하더라도 Claude Opus 4.6이 GPT-5.4보다 30배 많은 오류를 발생시키는 등, 과정 추적을 통해서만 드러나는 모델 간의 행동 차이를 명확히 보여주었습니다. 예를 들어, 클로드는 도구 오용 오류가 많았고, GPT는 추론 오류가 많았습니다.
이 데이터셋은 AI 과학 에이전트의 작동 방식을 투명하게 이해하고 평가하는 데 중요한 기반을 마련합니다. 단순히 '무엇을 생산했는지'가 아닌 '어떻게 생산했는지'를 분석함으로써, AI의 과학적 방법론을 감사하고, 특정 실패 모드를 진단하며, 궁극적으로 더 신뢰할 수 있고 설명 가능한 AI 과학 시스템을 구축하는 데 기여할 수 있습니다. 이는 AI 거버넌스(AI governance)와 AI 과학 연구 분야에 새로운 연구 방향을 제시하며, 향후 AI 과학자의 발전과 활용에 있어 중요한 전환점이 될 것입니다. OpenDiscoveryTrace는 데이터셋, 추적 스키마, 에이전트 하네스, 벤치마크 정의를 모두 공개하여 관련 연구를 장려하고 있습니다.