데이터브릭스(Databricks)가 공개된 코딩 AI 벤치마크들이 실제 기업 환경에 적합하지 않고 부정행위(cheating)에 취약하다는 문제점을 인식하고, 이를 해결하기 위해 자체적인 코딩 AI 벤치마크를 개발했습니다. 이 새로운 벤치마크는 데이터브릭스 내부에서 실제로 수행되는 과제와 사용되는 프로그래밍 언어를 기반으로 설계되어, 모델의 실제 업무 적용 가능성과 비용 효율성을 보다 정확하게 평가할 수 있도록 합니다.
데이터브릭스의 평가 결과에 따르면, GLM 5.2 모델은 가장 어려운 코딩 과제에서도 클로드(Claude) Opus 4.8과 동등한 수준의 해결 능력을 보였습니다. 주목할 점은 GLM 5.2의 가격이 Opus 4.8 대비 약 66% 수준으로 훨씬 경제적이라는 것입니다. 반면, 클로드(Claude) Sonnet 5는 Opus 4.8보다 1.7배 저렴하지만, 실제 작업 완료를 위해 1.9배 더 많은 토큰(token)을 사용해 결과적으로 비효율적이라는 분석이 나왔습니다. 또한, 동일한 AI 모델을 사용하더라도 어떤 평가 도구(harness)를 사용하느냐에 따라 가격과 수행 시간에서 상당한 절약을 가져올 수 있음이 밝혀졌습니다.
이러한 데이터브릭스의 자체 벤치마크는 기업들이 대규모 언어모델(LLM)을 실제 업무에 도입할 때 성능뿐만 아니라 비용 효율성까지 종합적으로 고려해야 한다는 중요한 시사점을 제공합니다. 단순히 모델의 성능 지표만 볼 것이 아니라, 실제 사용 환경에서의 토큰 사용량과 그에 따른 총 비용을 면밀히 분석해야 최적의 AI 솔루션을 선택할 수 있음을 보여줍니다. 이는 AI 추론(inference) 마진 붕괴가 예상되는 현 시점에서 기업들이 AI 투자에 대한 실질적인 가치를 극대화하는 데 필수적인 접근 방식이 될 것입니다.