인공지능(AI) 모델의 성능을 평가하는 벤치마크 테스트 결과는 종종 과대 해석되거나 잘못된 결론으로 이어질 수 있다는 경고가 나왔습니다. 브렛 레이놀즈(Brett Reynolds)의 새로운 연구는 AI 벤치마크 추론(inference)이 여러 단계로 구성될 때, 각 단계의 타당성이 전체 체인의 타당성을 보장하지 않는다는 점을 지적합니다. 즉, 개별적인 평가가 아무리 정확해도 이를 연결하는 과정에서 오류가 발생할 수 있다는 것입니다.
이 논문은 '투사 가능성(projectibility)'이라는 개념을 통해 AI 평가의 문제점을 파고듭니다. 투사 가능성은 관찰된 사례에서 관찰되지 않은 사례로의 확장이 정당한지 여부를 다루는 철학적 문제입니다. 연구에 따르면 AI 벤치마크 결과는 특정 시스템, 데이터셋, 조건 하에서 도출되지만, 평가자들은 이를 다른 상황이나 시스템에 일반화하고, 특정 능력의 증거로 해석하며, 새로운 작업에 외삽(extrapolate)하는 경향이 있습니다. 이때 각 단계에서 시스템, 모집단, 결과, 조건 등이 변경될 수 있으며, 겉보기에 독립적인 지원처럼 보이는 데이터나 모델 계보(lineage)가 실제로는 서로 의존적일 수 있습니다. 이러한 변화와 의존성을 명확히 하지 않으면, 각 단계의 추론이 개별적으로는 타당하더라도 전체적인 결론은 잘못될 수 있습니다.
레이놀즈는 '비구성 원칙(non-composition principle)'을 제시하며, 인접한 투사(projection)에 대한 지원은 그 종점과 가정이 일치하고 의존성 및 불확실성이 전달될 때만 구성이 정당화된다고 주장합니다. 예를 들어, 법률 연구 사례를 통해 벤치마크 증거와 실제 배포 연구가 각각은 타당해도 서로 병렬적으로 존재할 뿐, 직접적으로 연결되지 않을 수 있음을 보여줍니다. 또한, 시뮬레이션을 통해 집계된 안정성이 나중의 투사에 필요한 중요한 구별점을 지워버릴 수 있음을 증명합니다. 이는 벤치마크 결과가 실제 사용 환경에서의 AI 성능을 정확히 반영하지 못할 수 있음을 의미하며, AI 시스템의 배포 및 활용에 앞서 '투사 가능성 감사(projectibility audit)'를 통해 이러한 연결되지 않은 지점들을 진단해야 한다고 제안합니다. 이 연구는 AI 평가의 신뢰성을 높이고, 벤치마크 결과가 실제 세상에 미치는 영향을 보다 정확하게 예측하는 데 중요한 시사점을 제공합니다.