인공지능(AI) 연구실들이 특정 벤치마크에 맞춰 모델을 '펠리컨맥싱(pelicanmaxxing)'하는지 여부에 대한 흥미로운 실험 결과가 나왔습니다. '펠리컨맥싱'은 특정 벤치마크에 과도하게 최적화하는 행위를 비유적으로 이르는 말입니다. 사이먼 윌리슨(Simon Willison)이 매번 새로운 대규모 언어모델(LLM)이 출시될 때마다 '자전거를 탄 펠리컨의 SVG 이미지를 생성하라'는 프롬프트로 테스트하면서 이 비공식 벤치마크는 AI 커뮤니티에서 유명해졌습니다. 수십억 달러가 걸린 AI 시장에서 좋은 벤치마크 결과가 사용자 유치에 큰 영향을 미칠 수 있기에, AI 연구실들이 이 특정 프롬프트에 모델을 최적화하려는 유혹을 느낄 수 있다는 가설이 제기되어 왔습니다.
이 가설을 검증하기 위해 딜런 카스티요(Dylan Castillo)는 '펠리컨'을 포함한 8가지 동물과 '자전거'를 포함한 6가지 탈것을 조합한 총 48가지 프롬프트를 만들었습니다. GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash 등 7개 주요 LLM을 대상으로 각 프롬프트당 3개의 이미지를 생성하여 총 1,008개의 SVG 이미지를 얻었습니다. 이 이미지들은 렌더링, LLM 판독기(GPT-5.6 Luna)를 통한 1~5점 평점 부여(동물, 탈것, 행동의 일관성), 그리고 특징 추출(Gemini 3.1 Flash-Lite)의 3단계 파이프라인을 거쳐 분석되었습니다. 연구팀은 만약 AI 연구실들이 '펠리컨맥싱'을 했다면, 펠리컨이나 자전거 관련 점수가 다른 항목보다 월등히 높거나, '자전거 탄 펠리컨' 조합에서 특히 높은 점수를 보여야 한다고 가정했습니다.
하지만 분석 결과, '자전거 탄 펠리컨' 이미지가 다른 조합의 이미지보다 눈에 띄게 더 좋지 않았습니다. 모든 모델을 통틀어 펠리컨은 8가지 동물 중 6위에 그쳤고, 자전거는 6가지 탈것 중 뒤에서 두 번째를 기록했습니다. 이는 고양이, 고래, 너구리 같은 동물이나 스케이트보드 같은 탈것보다 펠리컨이나 자전거를 그리는 데 더 어려움을 겪는다는 것을 보여줍니다. 난이도를 조정한 후에도 '자전거 탄 펠리컨' 조합이 특별히 더 나은 성능을 보이지 않았습니다. 이러한 결과는 AI 연구실들이 특정 비공식 벤치마크에 모델을 과도하게 최적화하지 않으며, 모델의 전반적인 이미지 생성 능력을 향상시키는 데 집중하고 있음을 시사합니다. 이는 AI 모델 평가의 공정성과 신뢰성에 긍정적인 신호로 해석될 수 있습니다.