스트리밍 추론 파이프라인에서 경량의 빠른 모델과 풍부한 의미 이해를 제공하는 대규모 언어모델(LLM)을 함께 사용하는 사례가 늘고 있습니다. 하지만 LLM은 상당한 비용을 수반하기 때문에, 언제 LLM을 호출할지 결정하는 문제는 매우 중요합니다. 최근 발표된 한 연구는 이 문제를 '위험 기반 순차적 중단 문제'로 정의하고, 관측 이력에 대한 위험 함수가 특정 임계값을 초과할 때만 LLM을 호출하는 새로운 트리거 정책을 제안했습니다.
이 프레임워크는 최소 이벤트 간 시간 바운딩, 임계값 정책의 최적성, 추정된 매개변수 하에서의 근사 SPRT(Sequential Probability Ratio Test) 보장 등 여섯 가지 이론적 결과를 증명했습니다. 특히, 이벤트 기반, 최적 중단, SPRT, CUSUM, 베이즈 트리거와 같은 여러 고전적인 트리거 방식들이 이 프레임워크의 특수 사례로 표현될 수 있음을 보여줍니다. 실제 터보팬 성능 저하 데이터(CMAPSS)와 LLM 호출을 사용한 실험에서, 이 방식은 서브리니어 후회(sublinear regret)를 달성하며, 원칙적인 모든 트리거에서 알파(alpha) 값이 1 미만으로 나타났습니다. 또한, 1600건의 LLM 진단 중 92.9%가 0.75 이상의 높은 진단 품질 점수를 기록했으며, 이상 점수 기반 위험 함수가 다른 대안들보다 파레토 AUC(Pareto AUC)에서 약 한 자릿수 높은 성능을 보였습니다.
이 연구는 LLM 기반 애플리케이션의 비용 효율성을 크게 개선할 잠재력을 가지고 있습니다. 불필요한 LLM 호출을 줄이면서도 중요한 상황에서는 정확한 진단을 보장함으로써, 기업들은 운영 비용을 절감하고 서비스 품질을 유지할 수 있습니다. 특히, 실시간 데이터 처리와 LLM의 결합이 필수적인 산업 분야(예: 제조 설비 모니터링, 금융 사기 탐지, 의료 진단 보조)에서 이 기술은 더욱 큰 가치를 발휘할 것입니다. 이는 LLM 활용의 경제성을 높여 더 많은 서비스와 제품에 LLM이 도입될 수 있는 기반을 마련할 것으로 기대됩니다.