최근 텍스트-이미지(T2I) 및 멀티모달 생성 AI 모델들이 과학 논문의 메커니즘 다이어그램, 실험 설계도, 개념 프레임워크, 그래픽 초록 등 다양한 과학적 그림을 생성하는 데 점차 많이 사용되고 있습니다. 하지만 기존 이미지 생성 벤치마크(예: GenEval, T2I-CompBench)들은 주로 자연 이미지의 구성, 객체 수, 사실성 등을 평가하는 데 집중하여, 과학적 그림의 핵심 요소인 정확하고 읽기 쉬운 텍스트 라벨, 개체 및 관계의 충실한 묘사, 일관된 다이어그램 구조, 그리고 학문 분야별 그리기 관례 준수 여부는 제대로 측정하지 못했습니다.
이러한 간극을 메우기 위해 데이비 첸(Davie Chen) 연구진은 'SciDraw-Bench'라는 새로운 벤치마크를 발표했습니다. SciDraw-Bench는 8가지 그림 유형과 10가지 학문 분야에 걸쳐 32개의 구조화된 과학적 그림 생성 작업을 포함하며, 각 작업은 자연어 프롬프트와 필요한 라벨, 관계, 구성 요소, 관례, 그리고 부정적 제약 조건에 대한 기계 검증 가능한 사양을 함께 제공합니다. 연구진은 텍스트 충실도(OCR 기반 라벨 회수율 및 문자 오류율), 의미론적 정확성(비전-언어 모델(VLM)이 사양에 맞춰 판단), 구조적 품질, 그리고 관례 준수라는 네 가지 평가 프로토콜을 제안했습니다. 또한, 도메인 특화 시스템인 SciDraw AI를 일반적인 텍스트-이미지 모델들과 비교 평가한 결과, SciDraw AI가 모든 차원과 그림 유형에서 일반 모델보다 훨씬 우수한 성능을 보였으며, 특히 의미론적 정확성과 관례 준수에서 큰 격차를 나타냈습니다. 다만, 텍스트 충실도는 모든 시스템에 있어 여전히 가장 어려운 과제로 남아있습니다.
SciDraw-Bench의 등장은 과학 커뮤니티와 AI 개발자 모두에게 중요한 의미를 가집니다. 연구자들은 이제 AI가 생성한 과학적 그림의 품질과 유용성을 객관적으로 평가할 수 있는 표준화된 도구를 갖게 되었고, 이는 AI가 생성한 그림을 논문이나 발표 자료에 더 신뢰성 있게 활용할 수 있게 할 것입니다. 또한, AI 개발자들은 SciDraw-Bench를 통해 과학적 그림 생성 모델의 개선 방향을 명확히 파악하고, 특정 학문 분야의 요구사항에 맞는 고품질 AI 모델을 개발하는 데 집중할 수 있게 될 것입니다. 궁극적으로 이는 과학 커뮤니케이션의 효율성을 높이고, 연구자들이 시각 자료 준비에 들이는 시간을 절약하여 본질적인 연구에 더 집중할 수 있도록 도울 잠재력을 가집니다.