AI 에이전트가 웹 검색을 통해 정보를 수집할 때, 현재 방식은 검색된 모든 페이지를 읽어 불필요한 토큰 소비와 비용 증가를 야기합니다. 이러한 비효율성을 해결하기 위해 'Xtract'라는 새로운 시스템이 개발되었습니다. Xtract는 AI 에이전트가 웹 검색 API(예: Keenable)를 통해 얻은 결과 페이지를 실제로 읽기 전에, 해당 페이지의 '유용성(usefulness)'과 '읽는 데 드는 비용(cost)'을 미리 평가합니다. 이를 통해 에이전트는 가장 유용한 페이지들만 선별적으로 읽게 되어 효율성을 극대화하고 비용을 절감할 수 있습니다.
Xtract는 에이전트의 쿼리와 페이지의 제목, 요약 간의 임베딩 유사성, 저렴한 모델을 통한 내용 확인, 검색 엔진의 자체 순위, 그리고 과거 에이전트들의 인용 빈도 등 다섯 가지 신호를 종합하여 유용성 점수를 산출합니다. 이 점수는 페이지의 가격 책정에도 반영되어, 더 유용한 페이지가 더 저렴하게 책정되지 않도록 합니다. 특히, 이미 구매한 페이지와 동일한 내용을 담은 중복 페이지는 유용성이 35% 감소하며 가격도 함께 하락합니다. 또한, 오래된 뉴스를 대체하거나 뒤집는 최신 정보가 있을 경우, 해당 오래된 페이지의 유용성을 절반으로 줄여 에이전트가 항상 최신 정보를 얻도록 돕습니다. 이 모든 과정은 'usefulness.py' 파일에 구현되어 있습니다.
이 시스템은 특히 AI 영업 에이전트(AI sales agents)와 같이 방대한 양의 최신 회사 정보를 조사해야 하는 경우에 큰 이점을 제공합니다. 기존에는 에이전트가 오래된 사실을 기반으로 고객에게 잘못된 정보를 전달하는 문제가 있었지만, Xtract의 신선도 감지 기능을 통해 이러한 위험을 줄일 수 있습니다. 테스트 결과, Xtract는 기존 방식 대비 10페이지 중 3.1페이지만 읽어 쿼리당 비용을 26.6센트에서 10.3센트로 절감했으며, 답변 품질은 동등하거나 약간 더 우수했습니다. 특히, 한 번 평가된 페이지의 점수는 저장되어 재사용되므로, 시스템이 반복될수록 더욱 효율적이고 저렴해지는 학습 효과를 가져옵니다. 이는 AI 에이전트가 정보를 소비하는 방식에 있어 중요한 진전을 의미하며, 장기적으로 AI 서비스 운영 비용 절감에 크게 기여할 것입니다.