인공지능(AI) 모델의 성능을 객관적으로 비교하는 인텔리전스 인덱스(Intelligence Index)를 제공하는 아티피셜 애널리시스(Artificial Analysis)가 v4.2 업데이트를 발표했습니다. 이번 개편은 AI 모델이 실제 환경에서 얼마나 유용하게 작동하는지에 초점을 맞춰, 복잡한 지식 기반 업무와 여러 페이지에 걸친 전문 문서 분석 능력을 평가에 새롭게 포함했습니다. 이는 기존 벤치마크가 놓치던 실제 활용 능력을 더 정확하게 반영하려는 시도로 풀이됩니다.
새로운 평가 항목 중 ‘AA-브리프케이스(AA-Briefcase)’는 수천 개의 자료와 연결된 복잡한 프로젝트를 통해 에이전트(Agent)의 지식 업무 수행 능력을 측정합니다. 이는 사람이 몇 주에 걸쳐 수행할 분량의 과제를 포함하며, 클로드 페이블 5.1(Claude Fable 5.1)이 이 분야에서 선두를 차지했습니다. 또한, ‘GDP.pdf’는 4,500쪽이 넘는 긴 문서에서 텍스트, 표, 차트 등 여러 근거를 종합하여 답하는 능력을 평가하는데, 여기서는 GPT-6 아스트라(GPT-6 Astra)가 가장 뛰어난 성능을 보였습니다. 평가의 공정성을 높이기 위해 비공개 테스트의 가중치를 40%로 늘리고, 채점 오류와 실행 환경도 개선하여 모델이 평가에 맞춰 편법적으로 최적화되는 것을 방지하고자 했습니다.
이번 개편된 종합 지수에서는 앤트로픽(Anthropic)의 클로드 페이블 5.1이 1위를 차지했으며, 오픈AI(OpenAI)의 GPT-6 아스트라가 그 뒤를 이었습니다. 특히 GPT-6 아스트라는 이전 버전인 GPT-5.6 솔(GPT-5.6 Sol)보다 4점 높은 점수를 기록하며 성능 향상을 입증했습니다. 또한, 아스트라는 출력 토큰 수 대비 성능 효율성 면에서도 상위권 모델 중 독보적인 우위를 보여, 비용 효율적인 측면에서도 주목할 만합니다. 이러한 평가는 AI 모델이 단순한 지식 암기를 넘어 실제 복잡한 문제 해결에 얼마나 효과적인지를 보여주는 중요한 지표가 될 것입니다.
아티피셜 애널리시스는 이번 v4.2 업데이트가 2026년 1월 공개 예정인 v5의 일부를 앞당겨 반영한 것이라고 밝혔습니다. 이는 빠르게 발전하는 상위권 AI 모델들의 성능을 정확히 반영하기 위한 중간 개편의 성격이 강합니다. 모델의 발전 속도에 맞춰 평가 기준 또한 끊임없이 진화해야 한다는 점을 시사하며, 앞으로도 더 어렵고 현실적인 과제들이 평가에 추가될 예정입니다. 이러한 평가는 AI 개발사들이 실제 사용자에게 더 가치 있는 모델을 만드는 데 중요한 가이드라인이 될 것입니다.