컴퓨터 과학 분야의 연구 논문은 아키텍처 다이어그램, 시스템 흐름도, 파이프라인 스키마 등 복잡한 시각 자료에 크게 의존합니다. 이러한 다이어그램들은 단순한 텍스트보다 훨씬 많은 정보를 담고 있지만, 현재까지는 인공지능(AI)이 이들을 효과적으로 이해하고 분석하도록 훈련할 만한 공개 데이터셋이 부족했습니다. 이러한 문제를 해결하기 위해 새로운 대규모 구조화 데이터셋인 ‘SCAFFOLD’가 공개되어, AI가 복잡한 기술 다이어그램을 심층적으로 이해할 수 있는 기반을 마련했습니다.
SCAFFOLD 데이터셋은 arXiv 컴퓨터 과학 논문에서 추출한 이미지, 캡션, 주변 문맥, 질의응답(QA) 쌍, 그리고 단계별 추론(Chain-of-Thought) 과정을 포함하는 튜플(tuple) 형태로 구성됩니다. 연구팀은 레이아웃 감지 및 PDF 파싱 기술을 활용하고, AI 지원 질문 생성 단계를 거쳐 이 데이터를 구축했습니다. 가장 큰 규모인 SCAFFOLD-157K는 3,058편의 논문에서 29,887개의 그림과 157,387쌍의 데이터(이미지, 캡션, 문맥, QA, 추론)를 포함하며, 중간 규모(SCAFFOLD-37K)와 소규모(SCAFFOLD-12K) 버전도 제공됩니다. 연구팀은 Qwen2.5-VL-3B-Instruct 모델을 이용해 SCAFFOLD-12K로 기본 실험을 진행했습니다.
이 데이터셋의 등장은 시각-언어 모델(VLM)이 과학 논문의 핵심 정보를 더 정확하게 파악하고 해석하는 데 중요한 전환점이 될 것입니다. AI가 복잡한 다이어그램을 이해하고 설명할 수 있게 되면, 연구자들은 방대한 양의 논문에서 필요한 정보를 더 빠르고 효율적으로 찾아낼 수 있습니다. 이는 과학 연구의 속도를 높이고 새로운 발견을 촉진하는 데 기여할 뿐만 아니라, AI가 인간의 복잡한 추론 과정을 모방하고 학습하는 능력을 향상시키는 데도 중요한 역할을 할 것으로 기대됩니다.