멀티모달 대규모 언어모델(MLLM)의 지식 편집(Knowledge Editing) 기술이 발전하고 있지만, 중요한 한계점이 발견되었습니다. 최근 arXiv에 발표된 논문은 MLLM이 텍스트와 이미지 같은 멀티모달(multimodal) 입력 쌍으로 지식을 업데이트하면 정확하게 작동하지만, 텍스트나 이미지 단독(unimodal)으로 입력될 때는 편집 전의 오래된 정보로 되돌아가는 '편집 디커플링 실패(editing decoupling failure)' 현상을 지적했습니다.
연구팀은 심층적인 분석을 통해 MLLM 내의 개체(entity) 지식이 통합된 형태로 저장되지 않고, 모달리티(modality)별로 분리된 경로에 분산되어 있음을 밝혀냈습니다. 즉, 멀티모달 쿼리(query)에 맞춰 지식을 업데이트해도, 이 변경 사항이 단일 모달리티 회로에는 효과적으로 전파되지 않는다는 것입니다. 이러한 문제를 해결하기 위해 연구팀은 'DECODE'라는 새로운 접근 방식을 제안했습니다. DECODE는 모달리티별 뉴런 그룹을 명시적으로 분리하고 특정 지식에 맞춰 국지화(localize)함으로써, 다양한 모달리티 트리거(trigger)에서도 일관되고 효과적인 지식 업데이트를 가능하게 합니다.
이러한 연구 결과는 MLLM의 신뢰성과 안정성 확보에 중요한 의미를 가집니다. 지식 편집은 모델의 정보를 효율적으로 최신화하는 핵심 기술인데, 특정 입력 조건에서만 유효하다면 실제 서비스 적용에 큰 제약이 따를 수 있습니다. DECODE와 같은 해결책은 MLLM이 다양한 환경에서 일관된 최신 정보를 제공하도록 돕고, 궁극적으로는 더욱 견고하고 신뢰할 수 있는 인공지능 시스템을 구축하는 데 기여할 것입니다. 이는 AI 모델의 '환각(hallucination)' 현상을 줄이고, 사용자 경험을 향상시키는 데 필수적인 단계입니다.