문서 파싱(document parsing)은 스캔된 이미지를 텍스트, 시각, 레이아웃 정보가 추출된 구조화된 형태로 변환하는 과정으로, 시각 질의응답(visual question answering)이나 핵심 정보 추출(key information extraction) 같은 문서 이해 작업의 필수적인 첫 단계입니다. 이 과정에서 광학 문자 인식(OCR) 엔진과 멀티모달 대규모 언어모델(MLLM)이 중요한 역할을 하지만, 특정 문서 컬렉션에 가장 적합한 솔루션을 선택하는 것은 여전히 어려운 과제였습니다. 특히 수동으로 정답(annotation)을 만들기가 어렵거나 비용이 많이 드는 환경에서는 더욱 그렇습니다.
최근 연구자들이 발표한 'DocOCR-Eval'은 이러한 문제를 해결하기 위한 새로운 평가 프레임워크입니다. 이 프레임워크는 다양한 OCR 엔진과 최신 MLLM의 텍스트 인식 성능을 여러 스캔 문서 벤치마크에서 체계적으로 평가합니다. DocOCR-Eval은 많은 OCR 엔진의 제한된 문맥 추론(contextual reasoning) 능력과 수동 주석(manual annotations)의 높은 비용에 착안하여, 정답 레이블(ground-truth labels) 없이도 OCR 도구를 자동으로 평가하고 선택할 수 있는 3단계 교정 및 순위 매기기 전략을 사용합니다. 여러 MLLM의 결과를 통합하면 정답 기반 순위와 점진적으로 더 잘 일치한다는 것을 보여주며, 실제와 같이 레이블이 제한된 환경에서도 신뢰할 수 있는 OCR 도구 선택이 가능함을 입증했습니다.
이러한 정답 없는(annotation-free) 평가 방식은 실제 비즈니스 환경에서 매우 중요합니다. 기업들은 다양한 형식과 언어의 문서를 처리해야 하는데, 모든 문서 유형에 대해 수동으로 정답 데이터를 구축하는 것은 비현실적입니다. DocOCR-Eval은 이러한 제약을 극복하고, 특정 문서 컬렉션의 특성에 맞춰 가장 정확하고 효율적인 OCR 솔루션을 자동으로 찾아줌으로써, 문서 파싱 시스템의 배포와 운영을 훨씬 용이하게 만들 것입니다. 이는 결과적으로 문서 이해 기반의 다양한 자동화 시스템 구축 비용을 절감하고 효율성을 높이는 데 기여할 것으로 예상됩니다.