AI 모델이 얼마나 범용인공지능(AGI)에 근접했는지 측정하는 독립적인 평가 플랫폼 'AGI 랭커(AGI Ranker)'가 최근 모든 모델의 AGI 점수를 6점에서 최대 15점까지 하향 조정했다고 발표했습니다. 이는 AGI 랭커가 벤치마크 점수를 정규화하는 방식에 오류가 있었음을 인정하고 이를 수정한 결과입니다. 이로써 AI 성능 평가의 투명성과 정확성이 한층 강화될 것으로 기대됩니다.
AGI 랭커는 10가지 주요 공개 AI 벤치마크(GPQA Diamond, HLE, ARC-AGI-2 등)의 데이터를 종합하여 0점에서 100점 사이의 단일 AGI 점수를 산출합니다. 100점은 AGI 임계값으로 정의됩니다. 이번 점수 조정의 핵심은 벤치마크 점수 '정규화(normalization)' 방식의 변경입니다. 이전에는 모든 벤치마크 점수를 '최고 인간 수준(best-human)'을 기준으로 정규화한다고 설명했지만, 실제로는 대부분의 벤치마크에서 인간 수준 데이터가 없었기 때문에 '벤치마크 최대 점수'를 기준으로 삼았습니다. AGI 랭커는 이 부분을 명확히 하고, 인간 연구 결과가 있는 벤치마크(현재 GPQA Diamond가 유일)에만 인간 수준을 기준으로 100점을 부여하고, 나머지는 벤치마크 최고점을 100점으로 설정하도록 수정했습니다. 또한, 과거에 사용했던 'AA 인텔리전스 인덱스'를 중복 계산 문제로 제거하는 등 평가 방법론을 지속적으로 개선하고 있습니다.
이번 점수 하향 조정은 AI 모델의 실제 성능이 저하된 것이 아니라, 평가 기준의 엄격성과 투명성이 높아졌음을 의미합니다. 이는 AI 연구 커뮤니티와 사용자들에게 AI 모델의 현재 역량에 대한 보다 현실적이고 정확한 시각을 제공합니다. 특히, '인간 수준'이라는 모호한 기준이 남용될 수 있는 상황에서, AGI 랭커의 이번 조치는 AI 성능 평가의 신뢰도를 높이고, AGI 개발의 진정한 진척도를 가늠하는 데 중요한 역할을 할 것입니다. 앞으로 AGI 랭커는 더 많은 인간 수준 벤치마크를 통합하고, 실시간 순위, 비용 대비 성능(Value for money) 분석, 사용자 맞춤형 가중치 설정 등 다양한 기능을 제공하며 AI 평가의 표준을 제시해 나갈 계획입니다.