인공지능(AI) 모델의 성능을 평가하는 비공식 벤치마크 중 하나인 '자전거 타는 펠리컨(pelican on a bicycle)' 프롬프트에 맞춰 AI 연구소들이 모델을 최적화했는지에 대한 연구 결과가 발표되었습니다. 이 연구는 7개 주요 AI 모델에서 생성된 1,008개의 SVG 이미지를 분석했으며, 특정 벤치마크에 대한 '펠리컨맥싱(pelicanmaxxing)'이라 불리는 최적화 증거는 찾지 못했다고 밝혔습니다.
이번 연구는 8가지 동물(펠리컨, 플라밍고, 해오라기, 수달, 너구리, 영양, 고래, 고양이)과 6가지 탈것(자전거, 외발자전거, 스케이트보드, 스쿠터, 비행기, 보트)을 조합한 48가지 프롬프트를 각 모델에서 3회씩 실행하여 총 1,008개의 SVG 이미지를 생성했습니다. 생성된 이미지는 GPT-5.6 Luna 모델을 통해 동물, 탈것, 행동의 일관성을 1~5점으로 평가받았습니다. 분석 결과, 펠리컨은 8가지 동물 중 6위, 자전거는 6가지 탈것 중 5위를 기록했으며, 펠리컨-자전거 조합 역시 전체 48개 중 42위에 머물렀습니다. 난이도를 보정한 회귀 분석에서도 연구소별 특정 프롬프트 최적화 효과는 통계적으로 유의미하지 않았습니다.
이러한 결과는 AI 연구소들이 특정 벤치마크에서 높은 점수를 얻기 위해 모델을 편향적으로 훈련시키는 '벤치맥싱'보다는, 전반적인 이미지 생성 능력 향상에 초점을 맞추고 있음을 시사합니다. 비록 '자전거 타는 펠리컨' 이미지가 모두 오른쪽을 향하는 경향을 보였지만, 이는 전체 이미지의 60%가 오른쪽을 향하는 일반적인 경향과 다른 조합에서도 높은 방향 일치율을 보인다는 점에서 특별한 최적화의 증거로 보기 어렵다고 연구진은 설명했습니다. 이번 연구는 단일 평가 모델 사용 및 제한된 예산 등 한계점도 있었으나, AI 모델의 공정하고 투명한 성능 평가에 중요한 시사점을 제공합니다.