최근 'OCR 버디(OCR Buddy)'라는 새로운 크롬 확장 프로그램이 공개되어, 사용자의 기기 내에서 직접 OCR(광학 문자 인식)을 수행하며 텍스트를 추출하는 기능을 제공합니다. 이 도구는 서버와의 통신 없이 브라우저에서 모든 작업을 처리하여, 코드 조각, PDF 내 문단, 복잡한 수식(LaTeX), 표 등 화면에 보이는 어떤 텍스트라도 정확하게 인식할 수 있습니다. 특히, 기존 생성형 AI 기반 OCR 모델들이 겪던 '환각(hallucination)' 현상, 즉 부정확한 텍스트를 그럴듯하게 지어내는 문제를 해결하는 데 중점을 두었습니다.
OCR 버디는 '충실성(faithfulness)'을 최우선 가치로 삼아 개발되었습니다. 이는 텍스트가 불분명할 때 그럴듯한 내용을 만들어내기보다, 차라리 인식에 실패하거나 낮은 신뢰도를 표시하는 방식을 택합니다. 이러한 접근 방식은 코드, 숫자, 가격, ID 등 정확성이 필수적인 정보 추출에 매우 중요합니다. 기술적으로는 패들OCR(PaddleOCR)의 PP-OCRv5 모델과 ONNX 런타임 웹(ONNX Runtime Web)을 활용하여 웹어셈블리(WebAssembly) 및 웹GPU(WebGPU) 환경에서 빠르고 효율적으로 작동합니다. 또한, 모델 파일을 확장 프로그램 내에 번들로 포함시켜 네트워크 연결 없이도 완벽하게 오프라인에서 사용할 수 있으며, 개인 정보가 외부로 유출될 염려가 없습니다.
이 확장 프로그램은 화면 영역 선택, 현재 보이는 화면 캡처, 전체 스크롤 페이지 캡처 등 세 가지 방식으로 텍스트를 추출할 수 있습니다. 특히, 전체 페이지를 캡처할 때는 페이지를 여러 타일로 나누어 OCR을 수행한 후 병합하여 긴 문서에서도 높은 정확도를 유지합니다. 더 나아가, 웹페이지의 DOM(문서 객체 모델) 구조를 분석하여 제목, 목록, 링크, 표, 코드 블록 등을 포함한 깔끔한 마크다운(Markdown) 문서로 변환하는 기능도 제공합니다. 이 마크다운 변환 기능은 텍스트뿐만 아니라 이미지 내의 텍스트까지 OCR로 추출하여 마크다운에 삽입함으로써, 대규모 언어모델(LLM)에 바로 활용할 수 있는 고품질 데이터를 제공합니다.
OCR 버디의 등장은 개인 정보 보호와 정확성을 중시하는 사용자들에게 큰 의미를 가집니다. 특히 민감한 정보를 다루는 개발자, 연구자, 데이터 분석가 등에게는 서버를 거치지 않는 로컬 OCR 솔루션이 필수적입니다. 또한, 생성형 AI의 환각 문제로 인해 신뢰성이 떨어졌던 기존 OCR 서비스의 한계를 극복하고, 웹 환경에서 고성능 OCR을 구현할 수 있음을 보여주며 향후 브라우저 기반 생산성 도구의 발전 방향을 제시합니다. 웹페이지를 구조화된 마크다운으로 변환하는 기능은 정보 아카이빙이나 LLM 학습 데이터 준비 과정에서도 유용하게 활용될 수 있을 것입니다.