AI 에이전트 개발 시 핵심 요소 중 하나인 검색 API의 성능을 객관적으로 평가한 '사우서리(Sourcery)' 벤치마크가 발표되어 업계의 주목을 받고 있습니다. 이 벤치마크는 기존 평가 방식의 한계를 극복하고, 대규모 언어모델(LLM)의 답변이 아닌 검색 API가 실제로 반환하는 원본 소스의 유용성을 직접 평가하여 더욱 정확한 인사이트를 제공합니다.
사우서리 벤치마크는 퍼플렉시티(Perplexity), 브레이브(Brave), 엑사(Exa), 패러렐(Parallel), 세르퍼(Serper), 파이어크롤(Firecrawl), 타빌리(Tavily) 등 8개 주요 검색 API 제공업체를 대상으로 진행되었습니다. 각 제공업체에 동일한 204개의 질문을 던지고, 반환된 웹페이지 내용을 클로드 소네트 5(Claude Sonnet 5), GPT-5.6 테라(GPT-5.6 Terra), GLM 5.2 등 세 가지 LLM 심사 모델이 읽고 점수를 매기는 방식입니다. 특히, LLM이 편향되지 않도록 검색 제공업체 이름을 가린 채 평가했으며, 비용 절감을 위해 중복되는 페이지는 한 번만 평가하는 풀링(pooling) 기법을 사용했습니다. 종합 점수에서는 퍼플렉시티가 49.9%의 질문에 완전한 답변을 제공하며 압도적인 1위를 차지했지만, 이는 주로 요약된 발췌본을 제공하는 방식 때문이었습니다. 반면, 전체 문서를 필요로 하는 에이전트에게는 타빌리(Tavily)와 파이어크롤(Firecrawl)이 더 적합하다는 평가를 받았습니다.
이번 벤치마크 결과는 AI 에이전트 개발자들이 특정 사용 사례에 맞춰 검색 API를 선택하는 데 매우 중요한 기준이 됩니다. 예를 들어, 요약 정보가 필요한 경우 퍼플렉시티가 효율적이지만, 전체 문맥을 이해해야 하는 에이전트에게는 타빌리나 엑사(Exa)처럼 원본 문서 구조를 잘 보존하는 API가 유리합니다. 또한, '환각(hallucination)'을 유발할 수 있는 오답을 가장 적게 반환하는 파이어크롤(Firecrawl)의 강점도 주목할 만합니다. 이처럼 각 검색 API의 특장점을 명확히 파악함으로써, 개발자들은 불필요한 시행착오를 줄이고 에이전트의 성능과 효율성을 극대화할 수 있을 것입니다. 이는 AI 기술이 실제 서비스에 적용되는 과정에서 필수적인 고려사항이 됩니다.