로컬 AI 모델의 성능을 정확히 측정하는 것은 복잡한 작업입니다. 엔비디아(NVIDIA), AMD, 애플 실리콘(Apple Silicon), 인텔(Intel), 퀄컴(Qualcomm) 등 다양한 하드웨어와 수많은 오픈소스 모델 및 양자화(quantization) 버전을 고려하면, 일관된 벤치마크를 수행하기가 매우 어렵습니다. 이러한 문제를 해결하기 위해 '컴퓨트:아레나(Compute:Arena)'가 내부 테스트 도구를 오픈소스로 공개하고, 커뮤니티 기반의 로컬 AI 벤치마크 플랫폼을 선보였습니다.
컴퓨트:아레나는 사용자들이 자신의 하드웨어에서 오픈소스 AI 모델을 직접 실행하고, 그 결과를 공개 리더보드에 제출할 수 있도록 지원합니다. 이 플랫폼은 macOS 및 리눅스(Linux) 환경에서 간단한 설치 스크립트 실행만으로 사용할 수 있으며, 'BaseRT' 또는 'llama.cpp' 같은 런타임을 선택하여 벤치마크를 수행합니다. 모든 결과는 커뮤니티 하드웨어에서 생성된 서명된 보고서(signed report) 형태로 제출되어 신뢰도를 높이고, 모델, 양자화 방식, 칩셋별로 상세한 성능 데이터를 제공합니다. 예를 들어, 애플 M5 Pro 칩에서 'Tinystories Lay8 HS512 HD8 33M' 모델이 초당 2,068토큰을 디코딩(decode)하는 성능을 보여주는 등 구체적인 수치를 확인할 수 있습니다.
이러한 커뮤니티 기반 벤치마크는 로컬 AI 개발자와 사용자에게 매우 유용한 정보를 제공합니다. 특정 모델이 어떤 하드웨어에서 가장 효율적으로 작동하는지, 어떤 양자화 방식이 성능과 자원 활용의 균형을 맞추는지 등을 실제 데이터를 통해 파악할 수 있기 때문입니다. 이는 개발자들이 최적의 모델과 하드웨어 조합을 선택하는 데 도움을 주고, 일반 사용자들도 자신의 기기에서 AI 모델을 구동할 때 합리적인 기대를 가질 수 있게 합니다. 컴퓨트:아레나는 로컬 AI 생태계의 투명성을 높이고, 하드웨어와 소프트웨어 간의 시너지를 극대화하는 데 기여할 것으로 기대됩니다.