기존의 인터넷 검색은 자연어 질의를 입력하면 블랙박스처럼 작동하여 순위가 매겨진 목록이나 요약을 제공하는 방식이었습니다. 하지만 최근 공개된 '스크라이(Scry)'는 이러한 패러다임을 깨고 AI 에이전트가 인터넷 문서를 직접 프로그래밍 방식으로 질의하고 분석할 수 있는 새로운 검색 엔진을 제시했습니다. 이는 마치 검색 엔진이 아니라 방대한 인터넷 데이터베이스에 직접 SQL 쿼리를 날리는 것과 유사합니다.
스크라이는 500TB에 달하는 NVMe 스토리지 기반의 방대한 인터넷 인덱스를 구축했으며, 클릭하우스(ClickHouse)에 잘 정리된 데이터를 통해 SQL 및 데이터로그(Datalog)와 같은 질의 언어를 지원합니다. 현재 레딧(Reddit), 해커뉴스(Hacker News), 아카이브(arXiv), 위키피디아(Wikipedia) 등 43개 소스에서 약 1,490억 개 이상의 행(row)을 쿼리할 수 있으며, 매일 수천만 개의 새로운 게시물과 댓글이 추가되고 있습니다. 특히, 구글의 딥서치QA(DeepSearchQA) 벤치마크에서 구글의 제미니 딥 리서치 에이전트(Gemini Deep Research Agent)보다 높은 71.8%의 정답률을 기록하며 성능을 입증했습니다. 스크라이는 혼잡도 기반의 미세 경매 가격 책정 모델을 도입하여 시스템에 여유가 있을 때는 비상업적 용도에 무료로 서비스를 제공합니다.
이러한 프로그래밍 가능한 검색은 AI 에이전트의 역량을 한 차원 끌어올릴 잠재력을 가지고 있습니다. 단순히 키워드 검색 결과를 나열하는 것을 넘어, 특정 화합물을 언급하지만 특정 특허는 언급하지 않는 모든 페이지를 도메인별로 그룹화하거나 특정 기간 이후의 데이터를 찾는 등 복잡하고 다층적인 질의를 한 번의 쿼리로 처리할 수 있습니다. 이는 반복적인 검색과 스크래핑(scraping) 없이도 심층적인 연구와 분석을 가능하게 합니다. 스크라이는 챗GPT(ChatGPT), 클로드(Claude) 등 주요 대규모 언어모델(LLM) 기반 에이전트에 플러그인 형태로 쉽게 연동될 수 있어, 개발자들이 복잡한 설정 없이도 AI 에이전트에 강력한 검색 기능을 추가할 수 있게 합니다. 이는 AI 시대의 정보 접근 및 활용 방식에 근본적인 변화를 가져올 것으로 기대됩니다.