토큰딜리버리(TokenDelivery.ai)가 구글의 오픈소스 대규모 언어모델(LLM)인 젬마 4(Gemma 4)의 추론(inference) API 서비스를 프리뷰 기간 동안 무료로 제공한다고 발표했습니다. 이 서비스는 특히 '확정적(deterministic)' 추론을 강조하는데, 이는 동일한 입력에 대해 항상 동일한 출력을 보장하여 LLM 애플리케이션의 신뢰성을 높이는 데 중점을 둡니다. 이는 개발자들이 예측 가능한 결과를 바탕으로 안정적인 서비스를 구축할 수 있도록 돕는 중요한 특징입니다.
토큰딜리버리는 OpenAI API와 호환되는 인터페이스를 제공하여 기존 LLM 개발자들이 쉽게 전환하거나 통합할 수 있도록 했습니다. 현재 지원하는 모델은 'google/gemma-4-26b-a4b-it'이며, 256k 토큰의 컨텍스트(context) 길이를 지원합니다. 프리뷰 기간이 끝나고 유료화될 경우, 입력 토큰 100만 개당 0.042달러, 출력 토큰 100만 개당 0.22달러의 가격이 책정될 예정입니다. 이는 시장의 다른 LLM API 서비스와 비교했을 때 경쟁력 있는 가격으로, 비용 효율적인 LLM 활용을 가능하게 합니다. 또한 스트리밍, 도구 사용, 구조화된 출력, 이미지 및 비디오 처리, 로그프롭스(logprobs), 시드(seeds) 설정 등 다양한 고급 기능을 지원하여 개발 유연성을 높였습니다.
이러한 서비스 출시는 LLM 애플리케이션 개발 생태계에 여러 긍정적인 영향을 미칠 것으로 예상됩니다. 첫째, 확정적 추론은 LLM 기반 제품의 품질 관리와 테스트를 용이하게 하여 개발 시간을 단축하고 버그를 줄이는 데 기여할 수 있습니다. 둘째, 저렴한 가격 정책은 스타트업이나 개인 개발자들이 고가의 상용 LLM API 대신 젬마 4를 활용하여 혁신적인 서비스를 시도할 수 있는 기회를 제공합니다. 마지막으로, 오픈소스 모델인 젬마를 기반으로 한 서비스는 특정 빅테크 기업의 LLM에 대한 의존도를 낮추고, 더 개방적이고 분산된 AI 생태계 발전에 일조할 수 있습니다.