클라우드플레어(Cloudflare)가 인공지능(AI) 에이전트와 애플리케이션이 인터넷에서 실시간 정보를 검색하고 답변의 정확성을 높일 수 있도록 '웹 검색 API(Web Search API)'를 베타 버전으로 공개했습니다. 이 새로운 API는 AI 모델이 학습 데이터의 한계나 부정확한 URL 추측에 의존하는 대신, 최신 웹 정보를 활용하여 더욱 정확하고 시의적절한 응답을 생성할 수 있도록 설계되었습니다.
웹 검색 API는 클라우드플레어의 AI 게이트웨이(AI Gateway)를 통해 제공되며, 초기에는 세라믹AI(Ceramic.ai), 엑사(Exa), 링크업(Linkup) 세 가지 검색 제공업체를 선택할 수 있습니다. 모든 제공업체는 클라우드플레어를 통한 요청에 대해 '제로 데이터 보존(Zero Data Retention)'을 지원하며, 클라우드플레어의 검증된 봇 크롤링 표준을 준수합니다. 사용자는 REST API 또는 클라우드플레어 워커(Worker)의 AI 바인딩을 통해 이 API를 호출할 수 있으며, 검색 요청은 AI 게이트웨이 로그에 기록되고 각 제공업체의 API 가격으로 청구됩니다. 사용자가 자신의 API 키를 가져와 사용할 수도 있습니다.
이번 웹 검색 API 출시는 AI 애플리케이션 개발에 있어 중요한 진전을 의미합니다. 기존 대규모 언어모델(LLM)은 학습 시점 이후의 정보에 접근하기 어렵거나, 부정확한 정보를 생성하는 '환각(hallucination)' 문제를 겪곤 했습니다. 클라우드플레어의 웹 검색 API는 이러한 문제를 해결하고, AI가 실시간으로 변화하는 세상의 정보를 반영하여 더욱 유용하고 신뢰할 수 있는 서비스를 제공할 수 있는 기반을 마련합니다. 이는 AI 기반 챗봇, 콘텐츠 생성 도구, 데이터 분석 시스템 등 다양한 AI 서비스의 품질을 한 단계 끌어올릴 잠재력을 가지고 있습니다.