멀티모달 대규모 언어모델(MLLM)이 시각적 입력과 모순되는 정보를 생성하는 '환각(hallucination)' 현상은 오랫동안 문제로 지적되어 왔습니다. 이는 MLLM이 시각적 맥락보다 언어적 사전 지식(language priors)에 과도하게 의존하는 경향 때문인데, 최근 연구진은 이러한 환각을 줄이면서도 모델의 성능 저하를 막는 새로운 디코딩(decoding) 방법론을 제시했습니다.
새롭게 제안된 '매니폴드-가이드 적응형 투영(Manifold-Guided Adaptive Projection, MGAP)'은 기존 훈련 없이(training-free) 언어 사전 지식을 억제하던 방식의 한계를 극복합니다. 기존 방법들은 언어 사전 지식이 유용할 때조차 무조건적으로 억제하여 모델의 의미론적 매니폴드(semantic manifold)를 손상시키고 성능 저하를 초래하는 '매니폴드 이탈(Manifold Departure)' 현상을 일으켰습니다. MGAP는 이러한 문제를 해결하기 위해, 먼저 특이값 분해(SVD)를 통해 언어 사전 지식 부분 공간을 구축하고, 디코딩 과정에서 각 멀티모달 은닉 상태(hidden state)를 이 부분 공간에 투영합니다. 이후 일관성 인식 게이트(consistency-aware gate)를 적용하여 시각적 증거와 불일치하는 사전 지식 구성 요소만 선택적으로 약화시키고, 나머지 직교하는 의미론적 구성 요소는 보존합니다.
이러한 부분 공간 선택적 업데이트 방식 덕분에 MGAP는 모델의 표현 구조를 유지하면서 환각을 효과적으로 완화할 수 있습니다. POPE 및 CHAIR 벤치마크 실험 결과, MGAP는 기존 디코딩 기준선들을 능가하며, 일관성을 희생하지 않으면서도 강력한 환각 억제 성능을 보여주었습니다. 이는 MLLM의 신뢰성을 크게 향상시켜, 실제 응용 분야에서 더욱 안전하고 정확한 정보 생성을 가능하게 할 중요한 진전으로 평가됩니다.