최근 AI 에이전트(AI agent)가 사람보다 먼저 문서를 읽고 정보를 처리하는 경우가 늘고 있지만, 대부분의 기존 문서 사이트는 이러한 AI 에이전트에게 친화적이지 않아 정보 접근에 어려움을 겪고 있습니다. 클라이언트 측 렌더링(client-rendered) 방식, llms.txt 파일 부재, 마크다운(Markdown) 버전 미제공, 소프트 404 오류, 과도하게 큰 페이지 크기 등이 대표적인 문제로 지적됩니다. 이러한 문제를 해결하기 위해 문서 플랫폼 벨루(Velu)가 '에이전트 친화 문서 규격(Agent-Friendly Documentation Spec)'을 기반으로 문서의 AI 가독성을 측정하는 도구를 공개했습니다.
이 도구는 어떤 문서 URL이든 입력하면, 해당 문서가 에이전트 친화 문서 규격에 얼마나 부합하는지 23가지 항목을 7가지 카테고리로 나누어 점수를 매깁니다. 주요 평가 항목으로는 llms.txt 파일의 존재 여부 및 유효성, 마크다운 버전(.md URL) 제공 여부, 서버 측 렌더링(server-rendered) 여부, 페이지 크기(50K 문자 제한), URL 안정성, 콘텐츠 구조, 접근성(로그인 없이 공개 여부) 등이 있습니다. 특히 llms.txt 파일은 AI 에이전트가 문서를 발견하고 색인화하는 데 가장 중요한 요소로, 전체 점수에서 가장 높은 비중을 차지합니다. 이 도구는 MIT 라이선스의 참조 구현(reference implementation)인 afdocs를 사용하며, 측정 결과는 15분간 캐시되어 반복 확인 시 빠르게 결과를 볼 수 있습니다.
이번 도구 출시는 AI 에이전트가 정보를 소비하는 방식에 맞춰 문서 작성 및 관리 패러다임이 변화해야 함을 시사합니다. 기존의 검색 엔진 최적화(SEO)가 사람이 클릭하고 훑어보는 데 초점을 맞췄다면, 에이전트 친화 문서는 기계가 콘텐츠를 안정적으로 검색하고, HTML 노이즈 없이 파싱하며, 컨텍스트 창(context window)에 맞게 처리할 수 있도록 최적화하는 것입니다. 이는 AI 에이전트가 웹상의 방대한 정보를 더욱 정확하고 효율적으로 활용할 수 있게 하여, AI 기반 서비스의 품질 향상에 크게 기여할 것으로 기대됩니다. 문서 플랫폼 벨루는 자사 플랫폼에서 문서를 발행하면 이러한 모든 에이전트 친화적 요소들이 자동으로 적용된다고 밝히며, AI 시대에 맞는 문서 관리의 중요성을 강조하고 있습니다.