AI 모델 성능을 평가하는 인기 리더보드 서비스 아레나(Arena)가 상업 서비스 출시 단 8개월 만에 연간 환산 매출(Annualized Run-Rate Revenue) 1억 달러를 기록하며 빠르게 성장하고 있습니다. 2023년 UC 버클리(UC Berkeley) 연구 프로젝트로 시작된 아레나는 1,000만 건 이상의 사용자 평가를 통해 구축된 AI 모델 성능 리더보드로 잘 알려져 있습니다. 이 리더보드는 사용자가 두 가지 AI 모델에 동일한 프롬프트를 입력하고 더 나은 결과물을 선택하는 방식으로 운영되며, 일반 사용자에게는 무료로 제공됩니다.
아레나의 급격한 성장은 지난해 9월 출시된 상업 서비스 'AI 이밸류에이션스(AI Evaluations)' 덕분입니다. 이 서비스는 AI 모델 개발 연구소와 기업들에게 커뮤니티에서 수집된 심층적인 성능 분석 데이터를 제공합니다. 아레나의 공동 창립자이자 CEO인 아나스타시오스 안젤로풀로스(Anastasios Angelopoulos)는 많은 사람이 아레나를 여전히 오픈소스 프로젝트로 인식하고 있지만, 실제로는 기업 고객을 대상으로 한 유료 서비스가 큰 성공을 거두고 있다고 밝혔습니다. 아레나는 소비량(consumption) 기반으로 요금을 부과하며, 이는 전통적인 반복 매출(recurring revenue)과는 다른 방식입니다. 아레나는 직접적인 경쟁자가 없지만, 모델 학습 후 최적화를 돕는 머커(Mercor), 서지(Surge), 스케일 AI(Scale AI)와 같은 인력 기반 라벨링 스타트업들과 경쟁하며 시장을 확대하고 있습니다.
아레나의 성공은 AI 모델 성능 최적화 서비스에 대한 업계의 폭발적인 수요를 명확히 보여줍니다. AI 기술이 발전함에 따라, 모델 개발자들은 성능을 극대화하기 위해 학습 후 미세조정(post-training optimization)에 대한 투자를 아끼지 않고 있습니다. 아레나는 텍스트, 코딩, 비전, 이미지 생성 등 다양한 작업은 물론, 최근 도입된 에이전트 모드(Agent Mode)를 통해 복잡하고 장기적인 워크플로우까지 모델 순위를 매기고 있습니다. 이러한 전문성과 커뮤니티 기반의 방대한 데이터는 AI 모델 개발사들이 자신들의 모델을 개선하고 시장 경쟁력을 확보하는 데 필수적인 도구가 되고 있습니다. 아레나의 성장은 AI 인프라 및 지원 서비스 시장이 얼마나 빠르게 성장하고 있는지를 보여주는 중요한 지표입니다.