AI 에이전트(AI agent)가 학술 문헌을 더 빠르고 효율적으로 탐색할 수 있도록 설계된 하이브리드 학술 검색 엔진 'Cito'가 새롭게 등장했습니다. 기존 학술 API들이 AI 에이전트의 요청을 처리하는 데 속도 제한(rate limit)을 두어 연구에 병목 현상을 일으켰던 문제를 해결하고자 개발되었습니다. Cito는 방대한 학술 자료를 AI 에이전트가 제약 없이 활용할 수 있도록 돕는 데 초점을 맞추고 있습니다.
Cito는 Semantic Scholar의 2억 3천 6백만 편에 달하는 논문 데이터베이스를 기반으로 합니다. 특히, 키워드 인덱스(keyword index)와 함께 1억 4천 6백만 편의 논문에 대해서는 SPECTER2 밀집 벡터(dense vector)를 활용한 하이브리드 검색 방식을 채택했습니다. 이는 전통적인 키워드 매칭의 한계와 벡터 검색의 장점을 결합하여 검색 정확도를 높이려는 시도입니다. 검색 결과는 RRF(Reciprocal Rank Fusion) 방식으로 융합된 후, 크로스 인코더(cross-encoder)를 통해 최종적으로 재순위화(reranked)되어 사용자에게 제공됩니다. 무료 웹 검색은 물론, 일반 JSON API와 클로드 코드(Claude Code)와 같은 AI 에이전트가 직접 사용할 수 있는 네이티브 MCP(Multi-hop Contextual Processing) 엔드포인트(endpoint)를 제공하여, 에이전트가 상위 시스템의 속도 제한 없이 심층 문헌 연구를 수행할 수 있도록 지원합니다.
Cito의 출시는 AI 에이전트의 활용 범위가 단순 정보 검색을 넘어 심층적인 학술 연구 분야로 확장되고 있음을 보여줍니다. 기존 학술 데이터베이스들이 사람 사용자에 최적화되어 AI 에이전트의 대량 접근에 제한을 두었던 문제점을 해결함으로써, AI가 학술 연구 과정에서 더 능동적이고 독립적인 역할을 수행할 수 있는 기반을 마련했습니다. 이는 연구자들에게는 AI 에이전트를 활용한 새로운 연구 방법론을 제시하고, AI 개발자들에게는 에이전트의 지능을 한 단계 끌어올릴 수 있는 중요한 도구가 될 것으로 기대됩니다.