최근 공개된 DocSift는 대규모 언어모델(LLM) 사용 시 발생하는 문서 처리의 비효율성과 높은 비용 문제를 해결하기 위해 등장했습니다. 300페이지 분량의 PDF처럼 방대한 문서는 LLM의 컨텍스트 창에 한 번에 들어가지 않으며, 설령 들어간다 해도 전체 문서를 매번 입력하는 것은 매우 비쌉니다. DocSift는 이러한 문제를 해결하고자 문서를 한 번만 변환하고, 필요한 부분만 LLM에 전달하는 방식을 제안합니다.
DocSift는 PDF, 워드, 엑셀, 파워포인트, HTML, CSV, EPUB 등 다양한 형식의 문서를 깨끗한 마크다운(Markdown)으로 변환한 후 색인화합니다. 사용자가 질문을 하면, 이 색인에서 질문에 가장 적합한 구절만을 페이지 번호와 섹션 제목과 함께 추출하여 LLM에 제공합니다. 이 과정은 모두 사용자의 로컬 머신에서 이루어지며, 클라우드 API나 계정, 원격 측정(telemetry) 없이 작동합니다. PDF 파일은 Docling을 통해, 다른 파일들은 MarkItDown을 통해 처리되며, 이 두 엔진은 하나의 인터페이스 뒤에서 통합됩니다. 비용 절감은 문서 변환 자체가 아니라, 전체 문서 대신 관련성 높은 몇 개의 구절만 검색하여 LLM에 전달하는 방식에서 발생합니다.
이러한 접근 방식은 특히 민감한 정보를 다루는 기업이나 개인 사용자에게 큰 이점을 제공합니다. 데이터를 외부에 전송할 필요 없이 로컬에서 처리하므로 보안을 강화할 수 있습니다. 또한, LLM 사용 비용을 획기적으로 줄일 수 있어, 방대한 내부 문서를 활용해 AI 에이전트를 구축하려는 시나리오에 매우 적합합니다. 현재 클로드 코드(Claude Code), VS 코드 코파일럿(Copilot) 에이전트 모드, 코덱스 CLI(Codex CLI) 등 다양한 MCP(Machine Comprehension Protocol) 클라이언트와 연동되어 로컬 환경에서 개인화된 AI 비서 구축을 가능하게 합니다. 이는 LLM 활용의 문턱을 낮추고, 더 많은 사용자가 자체 데이터를 안전하고 효율적으로 활용할 수 있는 길을 열어줄 것으로 기대됩니다.