인셉션(Inception)이 고객 피드백과 실제 운영 실패 사례를 학습에 반영한 새로운 확산 언어모델(dLLM) '머큐리(Mercury) 2.5'를 출시했습니다. 전작인 머큐리 2의 낮은 지연시간과 비용 효율성은 유지하면서도, 자체 평가 기준 지능을 40% 향상시킨 것이 특징입니다. 이는 GPT-3.5 Flash-Lite, Gemini 1.5 Flash, Claude 3 Haiku와 같은 비용 최적화 프런티어 모델과 유사한 성능을 제공합니다.
머큐리 2.5는 널리 사용되는 엔비디아(NVIDIA) GPU에서 초당 1,107토큰(token)을 처리하며, 260K 토큰의 긴 컨텍스트(context)를 지원합니다. 또한 추론 수준 조절, 병렬 도구 호출, 스키마에 맞춘 JSON 출력 등 개발자 친화적인 기능을 제공합니다. 가격은 입력 100만 토큰당 0.20달러, 출력 100만 토큰당 0.75달러이지만, 출시 기념으로 80% 할인된 0.04달러와 0.15달러에 이용할 수 있습니다. 특히 실시간 고객 응대를 처리하는 오픈콜(OpenCall)의 음성 에이전트 운영에서 모델 응답 지연시간 중앙값이 약 170ms(밀리초)를 기록했으며, 어그먼트 코드(Augment Code)는 머큐리를 활용해 컨텍스트 압축 지연시간을 82%, 비용을 90% 절감하는 성과를 보였습니다.
이러한 머큐리 2.5의 출시는 실시간 상호작용이 필수적인 AI 애플리케이션 시장에 큰 영향을 미칠 것으로 예상됩니다. 검색 에이전트, 음성 에이전트, 코딩 에이전트 등 지연시간에 민감한 분야에서 머큐리 2.5의 초고속 추론 능력은 사용자 경험을 혁신하고 운영 비용을 크게 절감할 수 있는 잠재력을 가집니다. 특히 인셉션은 음성 에이전트에 최적화된 '머큐리 보이스(Mercury Voice)'와 최적 모델을 라우팅하는 '머큐리 라우터(Mercury Router)'를 프리뷰로 공개하며, 특정 사용 사례에 특화된 솔루션 제공을 확대하고 있습니다. 이는 LLM 활용의 폭을 넓히고, 다양한 산업 분야에서 AI 도입을 가속화하는 중요한 전환점이 될 것입니다.