새로운 연구 'DrawingVQA'가 멀티모달 대규모 언어모델(MLLM)이 실제 건설 도면을 얼마나 정확하게 이해하고 추론하는지 평가하는 최초의 벤치마크를 공개했습니다. 건축, 토목 등 다양한 엔지니어링 분야의 핵심 자료인 건설 도면은 일반 이미지나 단순한 평면도와 달리 추상적인 기하학, 기호 표기, 표 데이터, 주석, 그리고 도메인 특화 텍스트가 복합적으로 얽혀 있어 AI가 해석하기 매우 어려운 시각-텍스트 도메인으로 꼽힙니다.
DrawingVQA는 실제 '시공용 도면(Issued for Construction)' 33장과 전문가가 직접 선별한 92쌍의 질문-답변(Q&A)으로 구성되어 있습니다. 이 질문들은 지각적 이해, 맥락적 해석, 도메인 전문가 추론의 세 가지 깊이로 나뉘어 모델의 능력을 다각도로 평가합니다. 연구팀은 7가지 건설 엔지니어링 차원과 4가지 MLLM 역량 차원을 결합한 이중 분류 프레임워크를 통해 최신 MLLM들을 평가했는데, 그 결과 모델 성능이 특히 높은 수준의 추론에서 전문가 성능과 상당한 격차를 보였습니다.
이 벤치마크는 AI가 실제 엔지니어링 워크플로우에 통합되기 위해 도메인 특화된 멀티모달 추론 능력을 발전시켜야 함을 명확히 보여줍니다. 건설 현장에서 도면을 자동으로 분석하고 오류를 감지하며, 복잡한 질문에 답하는 AI의 등장은 생산성 혁신을 가져올 수 있지만, 현재 기술 수준으로는 아직 갈 길이 멀다는 것을 시사합니다. DrawingVQA는 이러한 격차를 줄이고 AI 기반 건설 이해 기술의 발전을 위한 중요한 토대를 마련했습니다.