인공지능(AI) 모델이 여러 작업을 순차적으로 학습하거나(연속 학습) 여러 모델을 하나로 합칠 때(모델 병합) 발생하는 고질적인 문제, 즉 '치명적 망각(catastrophic forgetting)'과 '가중치 얽힘(weight-disentanglement error)'의 근본 원인이 밝혀졌습니다. 최근 발표된 연구에 따르면 이 두 가지 문제는 사실 '태스크 간섭(task interference)'이라는 하나의 현상으로 수렴되며, 이는 특정 작업에 유용한 매개변수(parameter) 업데이트가 다른 작업의 모델 출력에 부정적인 영향을 미치는 현상을 의미합니다.
연구팀은 이 태스크 간섭을 레이어별 프로베니우스 내적(Frobenius inner product)으로 정량화하고, 최적화 도구(optimizer)가 이 간섭에 미치는 영향을 분석했습니다. 특히, 매개변수 업데이트의 스펙트럼 노름(spectral norm)이 태스크 간섭의 주요 요인임을 이론적으로 도출했습니다. 그리고 최근 개발된 뮤온(Muon) 최적화 도구가 바로 이 스펙트럼 노름을 효과적으로 제어하도록 설계되었음을 밝혀냈습니다. 뮤온을 아담W(AdamW) 최적화 도구 대신 사용했을 때, 8가지 모델 병합 벤치마크에서 최대 5.02%p의 정확도 향상을 보였으며, 연속 학습의 다양한 프로토콜에서도 일관된 성능 개선을 입증했습니다.
이 연구는 AI 모델의 다중 작업 학습 및 통합 과정에서 발생하는 난제를 해결하는 데 있어 최적화 도구의 중요성을 재조명합니다. 기존에는 각 문제를 개별적으로 다루고 다양한 기법으로 해결하려 했지만, 이번 연구는 최적화 도구 자체가 태스크 간섭을 줄이는 핵심 메커니즘이 될 수 있음을 보여줍니다. 이는 AI 모델의 효율성과 안정성을 높여, 더 복잡하고 다양한 실제 환경에 적용 가능한 AI 시스템을 개발하는 데 중요한 이론적, 실용적 기반을 제공할 것으로 기대됩니다.