핀터레스트가 수백억 개로 불어나는 이미지 임베딩(embedding) 데이터를 효율적으로 처리하기 위해 자체 검색 및 추천 플랫폼 '마나스(Manas)'를 대대적으로 개선했습니다. 이번 개선의 핵심은 비용 절감과 검색 품질 유지로, 벡터 압축 기술인 양자화(quantization)와 SSD 기반 검색 방식을 도입해 인덱스 메모리 및 서빙 비용을 획기적으로 줄이면서도 사용자 참여 지표에 미치는 영향을 최소화했습니다.
마나스 플랫폼은 홈 피드, 검색, 관련 핀, 광고 등 핀터레스트의 핵심 서비스 전반에 걸쳐 사용되며, 현재 80개 이상의 클러스터에서 수십억 개의 임베딩을 처리하고 있습니다. 데이터 규모가 수백억 개로 늘어나고 모델이 복잡해지면서 기존 방식으로는 비용 효율성, 확장성, 유연성 문제가 커졌습니다. 이에 핀터레스트는 임베딩을 낮은 비트 수로 압축하는 양자화, 요청당 I/O를 제한하는 SSD 서빙, 그리고 단일 벡터의 한계를 넘어 여러 벡터로 세부 의미를 비교하는 다중 임베딩(multi-embedding) 검색 방식을 도입했습니다.
특히 스칼라 양자화(SQ)와 곱 양자화(PQ)를 적용해 임베딩 인덱스 메모리를 50% 이상, 서빙 비용을 20~30% 절감하는 성과를 거두었습니다. 또한, 인덱스 전체를 RAM에 올리는 대신 SSD에서 검색하는 방식을 실험하여 메모리 사용량을 10분의 1로 줄이고 CPU 자원을 40% 절감했습니다. 이와 함께, 문서와 검색어를 각각 여러 벡터로 표현하여 더 풍부한 문맥적 유사도를 포착하는 다중 임베딩 검색을 도입해 검색 품질을 한 단계 끌어올릴 준비를 하고 있습니다.
이러한 기술적 진보는 방대한 비정형 데이터를 다루는 모든 서비스에 중요한 시사점을 제공합니다. 대규모 언어모델(LLM)과 같은 AI 기술의 발전으로 임베딩의 활용이 폭발적으로 증가하는 상황에서, 핀터레스트의 사례는 비용 효율적인 대규모 임베딩 검색 시스템 구축의 모범이 될 수 있습니다. 특히, 메모리 비용 절감과 검색 품질 유지라는 두 마리 토끼를 잡으려는 노력은 AI 기반 서비스의 상업적 성공에 필수적인 요소로 작용할 것입니다.