대규모 언어모델(LLM)의 급증하는 사용량은 클라우드 인프라의 에너지 소비와 운영 비용을 크게 증가시키고 있습니다. 특히 LLM 추론 과정 중 '프리필(prefill)' 단계, 즉 사용자 프롬프트를 처리하는 과정에서 상당한 자원이 소모됩니다. 최근 발표된 연구에 따르면, 많은 대화형 프롬프트에는 인간 간의 소통에서는 중요하지만 기계 추론에는 불필요한 '사회적 수식어(social scaffolding)'가 포함되어 있으며, 연구진은 이를 '사회-의미론적 간극(Social-Semantic Gap)'이라고 명명했습니다. 이러한 불필요한 정보가 LLM의 비용을 증가시키는 주범으로 지목됩니다.
이 문제를 해결하기 위해 연구진은 '감성 보존 의미 증류(Sentiment Preserving Semantic Distillation, SPSD)'라는 엣지 기반 파이프라인을 제안했습니다. SPSD는 사용자 기기(엣지)에 탑재된 4비트 양자화된 소형 언어모델(SLM)을 활용하여 클라우드 LLM으로 전송하기 전에 프롬프트를 압축합니다. 248개의 프롬프트로 구성된 코퍼스에 대해 Gemma-2-2B-Instruct(SLM)와 Llama-3.1-8B-Instruct(클라우드 LLM)를 사용한 평가 결과, 압축된 호출당 평균 99.9개의 입력 토큰이 절약되었으며, 모든 압축 호출에서 토큰 절감 효과가 나타났습니다. 응답 품질은 LLM-as-judge 방식으로 평가했을 때 원본과 비교하여 실질적인 차이가 없었으며, 43%는 동일, 28%는 압축된 프롬프트가 더 나은 결과를 보였습니다. 이를 통해 호출당 70~270 uWh의 에너지 절감 효과도 추정됩니다.
SPSD 기술은 클라우드 LLM의 운영 비용을 절감하고 에너지 효율을 높이는 데 중요한 기여를 할 것으로 보입니다. 특히 고객 지원, 챗봇 등 대화형 AI 서비스에서 사용자 경험을 저해하지 않으면서도 인프라 비용을 줄일 수 있는 실용적인 해결책을 제시합니다. 안전에 민감한 영역에서는 규칙 기반 게이트를 통해 원본 프롬프트를 그대로 전달하는 방식을 채택하여 신뢰성도 확보했습니다. 이 연구는 온디바이스(on-device) 프롬프트 증류(distillation)가 클라우드 LLM의 입력 토큰 비용을 줄이면서도 응답 품질을 유지할 수 있음을 보여주며, AI 서비스의 지속 가능성을 높이는 데 중요한 시사점을 제공합니다.