최근 공개된 'AhaBench'는 대규모 언어모델(LLM) 기반 AI 에이전트가 장기적인 관점에서 지속적으로 학습하고 경험을 활용하는 능력을 평가하기 위해 개발된 새로운 벤치마크입니다. 기존의 많은 AI 평가 방식은 에이전트가 단일 프롬프트에 대한 반응이나 최종 결과만을 측정하여, 실제 사용 환경에서 요구되는 복잡한 '경험 학습' 능력을 제대로 반영하지 못한다는 한계가 있었습니다.
AhaBench는 에이전트가 유용한 경험을 얻은 후, 명시적인 지원이 제거되거나 변경, 지연된 관련 평가 조건에서 행동이 개선되는지를 핵심적으로 측정합니다. 이 벤치마크는 세 가지 주요 구성 요소로 이루어져 있습니다. 첫째, 'Aha-Puzzle'은 숨겨진 상태 퍼즐을 해결한 후 힌트 없이 탐색하는 능력을 시험합니다. 둘째, 'Aha-Euler'는 '프로젝트 오일러(Project Euler)' 스타일의 수학적 아이디어를 활용해 생성된 학습/미학습 과제를 정확한 검증기로 평가합니다. 셋째, 'Aha-Vending'은 자판기 시뮬레이션에서 지연된 피드백과 운영 사고를 처리하면서도 수익성을 유지하는 에이전트의 능력을 테스트합니다.
이 벤치마크는 초기 역량(Initial Score), 경험 후 결과(Post-Experience Score), 그리고 학습 향상도(Learning Lift)라는 세 가지 지표를 통해 에이전트의 학습 능력을 다각도로 분석합니다. 흥미롭게도, 가시적인 지원을 잘 활용하는 모델, 높은 경험 후 점수를 달성하는 모델, 그리고 실행 중 가장 많이 개선되는 모델이 항상 같지는 않다는 점이 밝혀졌습니다. 예를 들어, 클로드 오푸스 4.6(Claude Opus 4.6)은 총합 경험 후 점수(64.3)와 총합 학습 향상도(+25.8)에서 가장 높은 성능을 보였고, 제미니 3.1 프로(Gemini 3.1 Pro)가 그 뒤를 이었습니다. 이 연구는 AI 에이전트가 단순히 정보를 처리하는 것을 넘어, 실제 세계처럼 변화하는 환경에서 과거 경험을 통해 진정으로 '학습'하는 능력을 평가하는 중요한 발판을 마련했습니다.