대규모 언어모델(LLM) 추론(inference) 비용을 실시간으로 추적하고 과거 이력까지 기록하는 'LLM 가격 대시보드'가 개발되어 공개되었습니다. 이 대시보드는 100개 이상의 다양한 LLM 서비스 플랫폼에서 제공하는 880개 이상의 모델 가격을 6시간마다 수집하고 기록하여, 사용자들이 특정 시점의 최저가뿐만 아니라 장기적인 가격 변동 추이까지 파악할 수 있도록 돕습니다. 이는 LLM 활용 비용 효율성을 극대화하려는 개발자 및 기업에게 중요한 정보를 제공합니다.
이 대시보드는 OpenRouter를 포함한 주요 LLM 서비스 제공업체들의 가격 데이터를 취합하며, 특히 '어제 가격은 아무도 알려주지 않는다'는 문제의식에서 출발했습니다. 동일한 오픈 가중치(open-weight) 모델이라도 플랫폼에 따라 가격이 최대 11배 이상 차이 나는 현상을 보여주는데, 예를 들어 'gpt-oss-120b' 모델은 가장 저렴한 AkashML이 가장 비싼 Cerebras보다 11.7배 저렴합니다. 흥미로운 점은 이러한 가격 차이가 단순히 모델의 양자화(quantization) 수준 때문이 아니라는 분석입니다. 오히려 BF16 정밀도로 실행되는 저렴한 엔드포인트가 많았으며, 가격은 주로 하드웨어, 마진, 그리고 처리량(throughput)에 의해 결정되는 것으로 나타났습니다. 이 대시보드는 입력(input), 출력(output), 캐시 읽기(cache_read) 등 세부 지표별 가격과 함께, 가장 큰 가격 변동을 보인 모델들의 이력도 제공하여 투명성을 높였습니다.
이러한 LLM 가격 추적 도구의 등장은 LLM 서비스 시장의 성숙도를 보여주는 동시에, 사용자들에게는 비용 최적화의 기회를 제공합니다. 다양한 플랫폼에서 동일 모델을 제공하면서 가격 경쟁이 심화되는 상황에서, 이 대시보드는 개발자들이 합리적인 의사결정을 내리는 데 필수적인 정보를 제공할 것입니다. 또한, 가격 변동 알림을 Atom 피드(feed)로 제공하여 슬랙(Slack)이나 디스코드(Discord) 같은 협업 도구에서 실시간으로 가격 변화를 받아볼 수 있게 함으로써, 팀 단위의 비용 관리에도 유용하게 활용될 수 있습니다. 이는 LLM 활용 비용을 절감하고 효율적인 자원 배분을 가능하게 하여, 장기적으로 LLM 생태계의 건전한 발전에 기여할 것으로 기대됩니다.