AI 모델의 진정한 능력을 측정하기 위한 벤치마크 테스트에서 흥미로운 변화가 감지되었습니다. 기존의 '자전거 타는 펠리컨(pelican on a bicycle)'이라는 SVG 이미지 생성 프롬프트가 '퐁고 스틱 타는 하마(hippo on a pogo stick)'로 교체된 것입니다. 이는 벤치마크가 너무 유명해져 모델들이 이미 해당 프롬프트를 학습했을 가능성, 즉 '벤치마크 유출(benchmark leakage)' 문제를 해결하기 위한 조치입니다.
'하이포(HIPPO)'라는 이름으로 새로운 벤치마크를 공개한 라이언 사일랩(Ryan Sailab) 팀은, 펠리컨 프롬프트가 매력적이고 간결하며 모델의 능력을 잘 드러냈지만, 그 익숙함이 실제 능력처럼 보일 수 있다는 점을 지적했습니다. 모델이 이전에 본 적 없는 새로운 상황을 얼마나 잘 이해하고 시각적으로 구현하는지가 핵심인데, 이미 학습된 프롬프트는 이러한 평가를 방해할 수 있다는 판단입니다. 따라서 난이도는 유지하되, 동물과 상황을 완전히 바꿔 테스트의 '낯설음'을 되살려 모델의 순수한 추론(inference) 능력을 측정하려 합니다.
이러한 변화는 AI 벤치마크의 신뢰성 확보가 얼마나 중요한지를 보여줍니다. 모델이 특정 테스트에 '최적화'되거나 '속임수'를 쓰는 것을 방지하고, 진정한 일반화 능력과 창의성을 평가하기 위한 지속적인 노력이 필요하다는 의미입니다. 이는 대규모 언어모델(LLM)을 포함한 다양한 AI 모델의 개발 및 활용에 있어, 우리가 모델의 실제 성능을 어떻게 측정하고 신뢰할 것인가에 대한 중요한 질문을 던지고 있습니다. 결국, 벤치마크는 모델의 발전을 이끄는 동시에, 그 평가 방식 또한 끊임없이 발전해야 함을 시사합니다.