새로운 오픈소스 벤치마크인 'ThinkingType'이 공개되어, 시각-언어 모델(VLM, Vision-Language Model)이 동일한 내용의 텍스트라도 폰트, 크기, 레이아웃, 색상 등 시각적 표현 방식에 따라 다르게 판단하는 경향을 측정합니다. 이 도구는 모델에 같은 콘텐츠를 일반 텍스트와 렌더링된 이미지 형태로 각각 제시한 후, 답변이 얼마나 자주 달라지는지를 분석하여 VLM의 시각적 편향성(visual bias)을 정량화합니다.
ThinkingType 벤치마크는 두 가지 주요 트랙으로 구성됩니다. 첫 번째 '문장 트랙(Sentence track)'은 120개의 합성 문장을 8가지 폰트로 렌더링한 후, '긴급한가?', '신뢰할 수 있는가?', '전문적인가?'와 같은 10가지 예/아니오 질문에 대한 모델의 답변을 비교합니다. 여기서 '뒤집힘 비율(flip rate)'은 모델이 텍스트와 이미지에 대해 서로 다른 답변을 내놓는 빈도를 측정합니다. 두 번째 '결정 트랙(Decision track)'은 약 330개의 합성 의사결정 항목(콘텐츠 조정, 이력서 심사, 지원금 신청 심사 등)을 대상으로 모델이 이미지에 대해 텍스트보다 얼마나 더 자주 '예'라고 응답하는지 '결정 변화(decision shift)'를 측정합니다. 이 벤치마크는 GPT-4o, Claude Sonnet 5, Gemini 3.5 Flash 등 다양한 최신 VLM을 대상으로 테스트되었습니다.
이 연구 결과는 VLM이 단순히 텍스트 내용을 이해하는 것을 넘어, 시각적 표현 방식에 의해 미묘하게 영향을 받을 수 있음을 시사합니다. 이는 AI 모델의 공정성(fairness)과 신뢰성(reliability)에 중대한 영향을 미칠 수 있습니다. 예를 들어, 특정 폰트나 레이아웃이 모델의 의사결정에 무의식적인 편향을 유발한다면, 이력서 심사나 콘텐츠 조정과 같은 중요한 작업에서 불공정한 결과로 이어질 수 있습니다. 개발자들은 ThinkingType을 활용하여 자신들의 VLM이 시각적 요소에 얼마나 민감하게 반응하는지 평가하고, 잠재적인 편향 위험을 사전에 파악하여 모델을 개선하는 데 기여할 수 있습니다.