대규모 언어모델(LLM)을 서비스할 때, 추론(inference)을 온디바이스(on-device), 엣지(edge) 하드웨어부터 중앙 데이터센터(datacenter)까지 여러 계층의 장치에 분산하는 방식이 주목받고 있습니다. 이른바 계층형 추론(tiered inference)은 더 저렴하고, 지연 시간이 짧으며, 개인 정보 보호에 유리한 LLM 서비스의 핵심 경로로 여겨집니다. 최근 발표된 연구는 이러한 계층형 추론 시스템이 언제 경제적으로 타당한지에 대한 명확한 수학적 조건을 제시했습니다.
대부분의 계층형 추론 시스템은 모델이 생성하는 신뢰도(confidence) 신호를 활용하여 쿼리(query)를 로컬(local)에서 처리할지, 아니면 더 강력한 백엔드(backend)로 에스컬레이션(escalation)할지 결정합니다. 이 연구는 로컬 처리 비용과 에스컬레이션 비용의 비율을 나타내는 '아키텍처 비용 비율(architecture cost ratio)' $\kappa$를 도입하여, 특정 신뢰도 임계값(threshold)이 계층형 시스템을 백엔드에 모든 쿼리를 보내는 것보다 더 가치 있게 만드는 조건을 도출했습니다. 특히, 로컬 컴퓨팅 비용이 청구되는 환경에서는 비용이 중요한 제약이 되지만, 분산된 하드웨어처럼 로컬 컴퓨팅 비용이 매몰 비용(sunk cost)인 경우에는 신호 품질이 시스템의 성능을 좌우하게 됩니다.
이 연구 결과는 LLM 서비스 제공자들이 자원 할당 및 시스템 설계 시 중요한 지침을 제공합니다. 계층형 추론의 경제적 타당성 조건을 이해함으로써, 개발자들은 불필요한 비용 지출을 줄이고 사용자에게 더 효율적인 서비스를 제공할 수 있습니다. 또한, 이 조건은 기존의 훈련된 프리미티브(primitives)들이 개별적으로만 충족하는 세 가지 설계 요구사항을 도출하며, 향후 공동 설계된 아키텍처와 프로토콜 개발의 필요성을 제안합니다. 이는 LLM 추론의 분산 컴퓨팅 환경에서 비용 효율성과 성능을 동시에 최적화하는 데 필수적인 기반 지식이 될 것입니다.