사전 훈련된 비전-언어 모델(VLM)은 이미지와 텍스트 설명 간의 유사도를 계산하여 제로샷(zero-shot) 이미지 분류를 가능하게 합니다. 일반적으로 'a photo of a [클래스 레이블]'과 같은 프롬프트에 '고양이(cat)' 같은 클래스 레이블을 삽입하여 사용하는데, 이때 이미지-클래스 쌍에 대한 점수는 어떤 프롬프트를 선택하느냐에 따라 민감하게 달라집니다. 기존 연구들은 여러 프롬프트를 앙상블(ensemble)하고 가중치 벡터를 사용하여 점수를 집계했지만, 이 가중치 벡터가 모든 클래스에 동일하게 적용되어 프롬프트와 클래스 간의 조건부 독립성을 가정하는 한계가 있었습니다.
이러한 문제를 해결하기 위해, 둥 루이장(Ruijiang Dong) 외 연구진은 '클래스 인식 제로샷 프롬프트 재가중치(CARPRT: Class-Aware Zero-Shot Prompt Reweighting)'라는 새로운 스코어링 방식을 제안했습니다. CARPRT는 각 클래스 레이블에 대해 프롬프트 가중치 벡터를 조정하여, 특정 클래스에 대한 프롬프트의 관련성을 훈련 없이(training-free) 포착합니다. 예를 들어, '항공 사진(an aerial view of)'이라는 프롬프트는 '공항(airport)'에는 적합하지만 '사과(apple)'에는 부적합한데, CARPRT는 이처럼 클래스별 프롬프트 의존성을 모델링하여 더 정확한 예측을 가능하게 합니다. 각 클래스 레이블과 사용 가능한 모든 프롬프트에 대해, 해당 프롬프트로 예측된 이미지들의 이미지-텍스트 관련성 점수를 평균하여 클래스별 관련성을 정량화하고, 이를 정규화하여 클래스별 가중치를 도출합니다.
CARPRT는 표준 이미지 분류 벤치마크에서 기존의 클래스 독립적인 재가중치 방식보다 우수한 성능을 보였습니다. 이는 프롬프트와 클래스 간의 의존성을 모델링하는 것이 효과적인 제로샷 예측뿐만 아니라, 프롬프트 앙상블에 의존하는 광범위한 VLM 기반 애플리케이션 설정에서도 매우 중요하다는 것을 시사합니다. 이 기술은 VLM의 활용도를 높이고 다양한 산업 분야에서 이미지 분류 및 이해 능력을 개선하는 데 기여할 것으로 기대됩니다.