최근 AI 에이전트가 짧고 명확한 작업을 자율적으로 수행하는 능력이 크게 향상되었지만, 복잡하고 오랜 시간이 걸리는 작업에서는 여전히 한계를 보이고 있습니다. 기존 평가 기준(벤치마크)은 대부분 몇 분 안에 끝나는 간단한 문제에 초점을 맞추고 최종 결과만으로 성공 여부를 판단했기 때문에, 중간 과정의 진행 상황이나 부분적인 해결책을 간과하는 경향이 있었습니다. 이러한 한계를 극복하기 위해 새로운 벤치마크인 '롱-호라이즌-터미널-벤치(Long-Horizon-Terminal-Bench)'가 공개되어 AI 에이전트의 장기적인 문제 해결 능력을 보다 정밀하게 측정할 수 있게 되었습니다.
새롭게 발표된 '롱-호라이즌-터미널-벤치'는 실험 재현, 소프트웨어 엔지니어링, 멀티모달 분석, 인터랙티브 게임, 과학 컴퓨팅 등 9가지 범주에 걸쳐 46개의 장기 작업을 포함합니다. 각 작업은 세분화된 하위 작업으로 나뉘어 있어, 에이전트가 최종 목표에 도달했는지뿐만 아니라 개방형 워크플로우에서 얼마나 진전했는지까지 평가할 수 있도록 조밀한 중간 보상(dense intermediate rewards)과 부분 점수(partial credit)를 제공합니다. 이 벤치마크의 작업들은 일반적으로 수백 에피소드와 수십 분에서 수 시간의 실행 시간을 필요로 하며, 단발성 문제 해결보다는 장기 계획, 긴 문맥 관리, 반복적인 디버깅 능력을 강조합니다.
연구팀은 15개의 최신 모델을 이 벤치마크로 평가했으며, 에이전트들은 작업당 평균 990만 개의 토큰을 소비하고, 한 번 실행하는 데 약 231 에피소드와 85.3분이 소요되는 것으로 나타났습니다. 이는 기존 터미널 기반 벤치마크보다 훨씬 더 까다로운 조건입니다. 가장 강력한 모델조차도 부분 보상 임계값 0.95에서 15.2%, 완벽 보상 임계값 1.0에서 10.9%의 낮은 성공률(pass@1)을 기록했으며, 모든 모델의 평균 성공률은 각각 4.3%와 1.7%에 불과했습니다. 이러한 결과는 AI 에이전트가 장기 복합 작업을 수행하는 능력에 있어 아직 개선의 여지가 매우 크다는 것을 명확히 보여줍니다. 이 벤치마크는 향후 장기 터미널 에이전트의 발전을 위한 중요한 도구로 활용될 것으로 기대됩니다.