인공지능(AI) 모델의 사회적 편향(bias) 문제는 인공지능 윤리 분야에서 중요한 화두입니다. 특히 시각-언어 모델(VLM)과 같이 방대한 데이터를 학습하는 모델의 경우, 학습 데이터에 내재된 역사적, 사회적 편견이 모델의 결과에 반영될 수 있다는 우려가 꾸준히 제기되어 왔습니다. 최근 Manpreet Singh 외 연구진은 이러한 VLM의 편향을 감사(audit)할 때, 모델 자체의 알고리즘적 편향과 학습 데이터 출처인 아카이브에 내재된 편향을 명확히 구분해야 한다고 강조하며, 메트로폴리탄 미술관의 작품 데이터를 활용한 CLIP(Contrastive Language-Image Pretraining) 모델 감사 연구 결과를 발표했습니다.
연구팀은 메트로폴리탄 미술관의 오픈 액세스 컬렉션에 있는 1,500점의 역사적 미술 작품 메타데이터를 활용하여 CLIP 모델을 감사했습니다. 이 중 작가가 명확히 알려진 743점의 작품(남성 작가 534점, 여성 작가 209점)과 618점의 익명 작품을 분석 대상에 포함했습니다. 연구는 '명작(masterpiece)', '품질(quality)', '영향력(influence)'이라는 세 가지 의미론적 프롬프트 쌍에 대한 CLIP 모델의 제로샷(zero-shot) 로짓(logit) 점수 차이를 평가하는 정량적 감사 프레임워크를 구축했습니다. 초기 평가에서는 OpenAI CLIP과 OpenCLIP 모두에서 작가 성별에 따른 평가 점수 차이가 통계적으로 유의미하지 않다는 결과가 나왔습니다. 즉, 여성 작가 작품과 남성 작가 작품에 대한 모델의 평가 점수가 크게 다르지 않았다는 것입니다. 또한, 작품 매체, 제작 시대, 화면 비율 등을 통제한 다변량 회귀 분석에서도 작가 성별이 모델 평가에 통계적으로 유의미한 조건부 효과를 미치지 않는 것으로 나타났습니다.
이러한 연구 결과는 광범위한 제로샷 평가 지표가 모델의 절대적인 공정성을 증명하기보다는, 미세한 시각-의미적 특징에 대한 모델의 민감도가 낮아 편향을 감지하기 어렵다는 점을 시사합니다. 즉, 거시적인 수준에서는 성별 편향이 나타나지 않더라도, 미시적인 수준에서는 특정 시각적 특징에 대한 편향이 존재할 수 있음을 배제할 수 없습니다. 또한, 작가를 알 수 없는 41.2%의 작품을 분석에서 제외한 것은 기관의 '생존 편향(survival bias)'을 반영하는 것으로, 역사적으로 여성 작가나 소수 집단 작가의 작품이 제대로 기록되거나 보존되지 않았을 가능성을 간과할 수 없다는 점을 강조합니다. 이 연구는 문화유산 컬렉션에서 AI 공정성을 평가할 때, 다변량 교란 변수 통제, 동등성 테스트, 그리고 아카이브 데이터의 출처 감사가 필수적임을 보여주며, AI 편향 문제 해결을 위한 더욱 정교한 접근 방식의 필요성을 제기합니다.