Kaggle과 Google DeepMind가 공동 주최한 AGI 벤치마크 해커톤에서 수상작 선정에 대한 참가자들의 강력한 비판이 제기되었습니다. ‘추론, 행동, 판단’ 능력을 평가하는 이번 해커톤에서 1위를 차지한 MEDLEY-BENCH를 포함한 일부 수상작의 점수 산출 방식과 재현성에 대한 의문이 핵심입니다. 참가자들은 심사 과정의 투명한 공개와 재검토를 요구하며, AGI 평가의 신뢰성 문제에 불을 지폈습니다.
논란의 중심에는 대상 수상작 중 하나인 MEDLEY-BENCH가 있습니다. 이 벤치마크는 모델이 사회적 압력 속에서 불확실성을 인지하고 믿음을 수정하는 능력을 평가한다고 주장했지만, 비판 측은 모델 규모가 커질수록 ‘평가’와 ‘통제’ 지표가 유사하게 상승하며 높은 상관관계를 보인다고 반박했습니다. 특히 코드 검토 결과, 근거 없는 33개의 수작업 가중치와 검증되지 않은 30개의 LLM 심사 기준이 점수 산출에 사용되었음이 드러나 논란을 키웠습니다. 또한, 낮은 확신을 반대로 처리하는 논리적 오류와 서로 다른 주장을 같은 ID로 합산하는 데이터 생성 방식 등 여러 문제점이 지적되었습니다. 다른 수상작인 GAUGE, Metaproteus, LearningBench 역시 단일 점수만 제공하거나 개별 사례 검증에 많은 시간이 소요되어 재현성 및 투명성 문제가 제기되었습니다.
Kaggle 측은 약 20명의 인간 심사위원이 모든 수상작을 최소 2명 이상 독립적으로 평가했으며, 심사 기간도 연장했다고 밝혔습니다. 그러나 전체 리더보드, 기준별 점수, 개별 심사 내역 등 참가자들이 요구하는 구체적인 정보는 공개하지 않았습니다. 이러한 불투명성은 AGI와 같은 복잡한 인공지능 시스템의 성능을 평가하는 데 있어 객관적이고 재현 가능한 기준 마련이 얼마나 어려운지를 보여줍니다. 이번 논란은 단순히 해커톤의 공정성 문제를 넘어, 미래 AGI 개발과 평가의 방향성에 대한 중요한 질문을 던지고 있습니다. 특히 물리 지능이나 멀티모달(multimodal) 평가와 같이 현재 텍스트 중심 평가에서 다루기 어려운 영역에 대한 새로운 평가 파이프라인의 필요성도 제기되고 있습니다.