배달 서비스 도어대시(DoorDash)가 대규모 언어모델(LLM) 기반 서비스의 검색 비용을 획기적으로 줄이는 데 성공했습니다. LLM에 내장된 웹 검색 기능을 별도의 검색 API(애플리케이션 프로그래밍 인터페이스)로 분리하고, 이를 효율적으로 관리하는 '검색 게이트웨이(Search Gateway)' 시스템을 구축하여 검색 정확도를 유지하면서도 비용을 98% 이상 절감했다고 밝혔습니다. 이는 모델 추론(inference) 비용을 제외한 순수 검색 비용 절감 수치입니다.
도어대시의 핵심 전략은 '분리'와 '최적화'입니다. 기존에는 LLM 공급자의 내장 검색 기능을 사용했으나, 이는 검색 결정에 대한 통제가 어렵고, 중복 호출로 인한 비효율, 그리고 검색 활성화 시 모델이 불필요한 설명을 덧붙여 출력 형식(JSON, 열거형 등)을 깨뜨리는 문제가 있었습니다. 이를 해결하기 위해 도어대시는 여러 AI 에이전트(agent)가 하나의 검색 게이트웨이를 공유하도록 설계했습니다. 이 게이트웨이는 서퍼(Serper), 브라이트데이터(BrightData) 등 다양한 외부 검색 백엔드(backend)를 연결하고, 캐시 정책, 검색 결과 수, 장애 시 대체 공급자 등 모든 설정을 코드가 아닌 설정 파일로 관리할 수 있게 했습니다. 특히, 동일하거나 의미상 유사한 질문에 대한 검색 결과를 재사용하는 캐싱(caching) 전략은 캐시 적중률을 99.4%까지 높여 초기 실행 대비 평균 지연 시간 68%, 검색 비용 99% 이상 감소라는 놀라운 성과를 가져왔습니다.
이러한 접근 방식은 LLM을 활용하는 모든 기업에게 중요한 시사점을 제공합니다. LLM의 강력한 기능에도 불구하고 높은 운영 비용은 상용화의 큰 걸림돌이었는데, 도어대시의 사례는 검색 비용을 효과적으로 제어하면서도 서비스 품질을 유지할 수 있음을 보여줍니다. 모델과 검색 기능을 분리함으로써 기업은 특정 LLM 공급자에 종속되지 않고, 필요에 따라 모델이나 검색 공급자를 유연하게 교체하며 비용과 성능의 균형을 최적화할 수 있습니다. 또한, 검색 깊이(검색 결과 수)와 같은 매개변수를 조정하여 정확도, 지연 시간, 비용 사이의 최적점을 찾아낼 수 있게 됩니다. 이는 LLM 기반 서비스의 상업적 성공 가능성을 높이는 중요한 발전으로 평가됩니다.