라마(Llama)가 기업 문서에서 스키마 기반 정보 추출(schema-guided extraction) 모델의 성능을 평가하는 새로운 오픈소스 벤치마크 'ExtractBench'를 공개했습니다. 이 벤치마크는 문서와 사용자 정의 JSON 스키마가 주어졌을 때, 시스템이 스키마에 맞는 유효한 JSON 데이터를 정확하게 추출하는 능력을 측정합니다. 특히, 추출된 값의 완전성(completeness)과 원본 문서에서의 추적 가능성(traceability)을 핵심 지표로 삼아 평가합니다.
ExtractBench는 8개 비즈니스 도메인과 67개 문서 유형에 걸쳐 총 370개 문서(4,869페이지)를 포함하며, 각 문서 유형은 고유한 스키마를 가집니다. 이는 특정 템플릿에 맞춰 튜닝되지 않고, 이전에 보지 못한 스키마와 문서도 처리할 수 있는 범용적인 추출 능력을 요구합니다. 벤치마크 결과, 라마익스트랙트(LlamaExtract)의 'Agentic Plus' 모델이 통합 값 F1 점수(Unified value F1) 95.59점으로 가장 높은 성능을 보였으며, 코덱스(Codex, GPT-5.5)와 리덕토 딥 익스트랙트(Reducto Deep Extract)가 그 뒤를 이었습니다. 또한, 추출된 값이 원본 문서의 어디에서 왔는지 정확히 지목하는 접지 F1(Grounding F1) 점수도 함께 제공하여, 추출 결과의 신뢰성을 더욱 강조합니다.
이 벤치마크의 출시는 기업들이 비정형 문서에서 핵심 정보를 추출하고 자동화하는 데 있어 AI 모델의 중요성이 커지고 있음을 시사합니다. 추출된 데이터가 곧바로 비즈니스 의사결정이나 자동화된 프로세스에 활용되는 경우가 많아지면서, 정확성과 신뢰성은 더욱 중요해졌습니다. ExtractBench는 다양한 모델의 성능을 객관적으로 비교할 수 있는 표준을 제공함으로써, 기업들이 실제 업무 환경에 적합한 최적의 추출 시스템을 선택하고 개발하는 데 중요한 가이드라인이 될 것입니다. 이는 궁극적으로 기업의 운영 효율성을 높이고 인적 오류를 줄이는 데 기여할 것으로 기대됩니다.