쇼피파이(Shopify)가 대규모 언어모델(LLM)의 효율성을 획기적으로 개선할 수 있는 새로운 기술인 '기스팅(Gisting)'을 공개했습니다. 이 기술은 LLM에 주어지는 길고 반복적인 시스템 프롬프트, 즉 모델의 역할과 동작 방식을 정의하는 지시사항들을 압축하여 학습된 단일 토큰으로 변환하는 것이 핵심입니다. 이를 통해 LLM은 매번 전체 프롬프트를 처리할 필요 없이 압축된 토큰만으로 필요한 맥락을 이해하게 됩니다.
기스팅은 LLM이 특정 작업을 수행하기 위해 필요한 배경 정보나 지시사항을 반복적으로 입력해야 하는 비효율성을 해결합니다. 예를 들어, 고객 서비스 챗봇이 '항상 친절하게 응대하고, 제품 정보를 정확히 제공하며, 환불 정책을 설명하라'는 복잡한 지시를 매번 받는 대신, 이 모든 내용을 담은 하나의 '기스트(gist)' 토큰만으로 동일한 지시를 전달받는 방식입니다. 쇼피파이는 이 기술을 통해 추론(inference) 비용을 절감하고, 응답 지연 시간(latency)을 줄이며, 더 긴 컨텍스트(context)를 처리할 수 있게 되어 LLM 기반 서비스의 성능을 크게 향상시킬 수 있다고 설명했습니다. 특히 전자상거래와 같이 복잡한 규칙과 많은 데이터를 다루는 분야에서 그 효과가 클 것으로 예상됩니다.
이 기술은 LLM의 상업적 활용에 있어 중요한 진전으로 평가됩니다. 기업들은 LLM을 활용한 서비스에서 프롬프트 토큰 사용량에 비례하여 비용을 지불하는데, 기스팅은 이러한 운영 비용을 직접적으로 줄여줍니다. 또한, 응답 속도 개선은 사용자 경험을 향상시키고, 더 복잡한 작업을 LLM이 처리할 수 있도록 함으로써 새로운 비즈니스 모델과 서비스 개발의 가능성을 열어줄 것입니다. 쇼피파이의 기스팅은 LLM의 효율성과 경제성을 동시에 잡으려는 업계의 노력에 중요한 이정표가 될 것으로 보입니다.