최근 AI 수학 연구는 주로 자동 형식화(autoformalization)와 정리 증명(theorem proving)에 집중되어 왔습니다. 하지만 컴퓨터 대수 시스템(CAS)이 대규모 언어모델(LLM) 에이전트의 워크플로우에서 어떤 역할을 할 수 있는지에 대한 탐구는 상대적으로 부족했습니다. 이러한 간극을 메우기 위해 새로운 연구에서는 LLM의 추론 능력과 SageMath의 검증 가능한 피드백을 결합한 ReAct 스타일의 에이전트 설정을 제안했습니다.
이 연구팀은 최신 LLM들을 대상으로 RealMath 벤치마크의 연구 수준 수학 문제를 해결하는 실험을 진행했습니다. 특히 SageMath 접근 권한이 있을 때 모든 평가 모델에서 상당한 성능 향상을 확인했습니다. 평균 9.7% 포인트(pp)의 성능 향상을 보였으며, 모델에 따라 최소 1.5pp에서 최대 27.8pp까지 향상되었습니다. 이는 오픈소스 모델과 비공개 모델 간의 성능 격차를 줄이는 데도 기여했습니다. 특히 Qwen 3.7-Max 모델이 SageMath로부터 가장 큰 이점을 얻었으며, GPT-5.5는 도구 사용 설정에서 75.2%의 가장 높은 문제 해결률과 가장 낮은 토큰 사용량을 기록했습니다. 연구팀은 또한 RealMath 벤치마크에 다단계 후처리 절차와 다단계 검증 파이프라인을 도입하여 문제 세트의 품질과 신뢰성을 개선했습니다.
이번 연구 결과는 CAS가 강화된 에이전트가 계산 수학 분야에서 수학자들을 지원하는 유망한 방향임을 시사합니다. LLM이 단순한 텍스트 생성 도구를 넘어, 전문적인 계산 도구와 결합될 때 복잡한 과학 및 수학적 탐색에서 강력한 조력자가 될 수 있음을 보여줍니다. 이는 궁극적으로 자동화된 추측 발견(automated conjecture discovery)과 같은 AI 기반 수학 연구의 새로운 지평을 열 수 있을 것으로 기대됩니다.