최근 발표된 연구에 따르면, 멀티모달 지속 학습(MMCL) 분야에서 AI 모델이 새로운 지식을 학습하면서도 기존 지식을 잊지 않도록 하는 새로운 접근 방식이 제안되었습니다. 기존 MMCL 연구들은 주로 여러 양식(모달리티) 간의 표현 정렬이나 의미론적 유사성에 초점을 맞췄지만, 각 양식(예: 시각, 텍스트)의 상대적 기여도와 상호작용이 점진적 학습 과정에서 안정적으로 유지되는지에 대한 문제는 간과되어 왔습니다. 연구진은 이러한 의사결정 수준의 변화를 '양식 기여도 편향(Modality Contribution Drift, MCD)'이라고 정의하고, 이를 정량화하는 MCD 점수를 개발했습니다.
이 MCD 점수는 특정 양식 부분집합에 대한 통제된 개입(controlled interventions)을 통해 기여 강도와 상대적 의존도 변화를 결합하여 측정됩니다. 연구진은 이론적 및 실증적 분석을 통해 기존 MMCL 방법론들이 왜 이러한 양식 기여도 편향을 효과적으로 완화하지 못하는지 설명했습니다. 이에 대한 해결책으로, 이전 학습 작업의 양식 기여 구조를 보존하는 '지속적 양식 기여도 편향 정규화(Continual Modality Contribution Drift Regularization, CMCDR)' 기법을 제안했습니다. CMCDR은 이전 데이터 샘플(exemplar)의 사용 가능 여부에 따라 리플레이 기반(replay-based) 버전과 리플레이 없는(replay-free) 버전으로 나뉩니다.
리플레이 기반 CMCDR은 저장된 이전 샘플에 대한 양식 부분집합 개입을 진단 프로브로 활용하여, 현재 모델과 고정된 이전 모델 간의 기여 프로필을 비교하고 이전 샘플의 양식별 및 상호작용 기여도 변화를 제한합니다. 반면, 리플레이 없는 CMCDR은 현재 작업 샘플을 프로브로 사용하여 고정된 모델의 이전 작업 기여 응답을 증류(distill)함으로써, 샘플 없이도 관찰된 기여 프로필을 정규화합니다. 멀티모달 클래스 증분 학습(multimodal class-incremental learning) 및 지속적 시각 질의응답(continual visual question answering) 실험을 통해 CMCDR의 일반성과 효과가 검증되었습니다. 이 연구는 AI가 다양한 형태의 정보를 순차적으로 학습할 때 발생하는 '기억 상실' 문제를 근본적으로 해결하고, 더 안정적이고 견고한 멀티모달 AI 시스템을 구축하는 데 중요한 기반을 마련할 것으로 기대됩니다.