대규모 언어모델(LLM)과 같은 복잡한 AI 모델을 학습시키는 과정에서 '뮤온(Muon)'이라는 최적화 기법이 중요한 역할을 하고 있습니다. 뮤온은 모델의 행렬형 매개변수(matrix-valued parameters)를 효율적으로 업데이트하기 위해 '뉴턴-슐츠(Newton-Schulz)' 반복을 통해 모멘텀을 직교화(orthogonalizing)하는 방식으로 작동합니다. 기존 연구에서는 이 뉴턴-슐츠 반복의 횟수가 유한할 경우, 즉 '유한 뉴턴-슐츠(Finite Newton-Schulz)'를 사용할 경우 정확한 극 분해(exact polar factor)에 대한 근사 오차로 인해 성능이 저하될 수 있다고 여겨져 왔습니다.
그러나 최근 발표된 연구는 이러한 통념을 뒤집는 흥미로운 결과를 제시했습니다. 명의 리(Mingyi Li)와 타이라 츠치야(Taira Tsuchiya) 연구진은 유한 뉴턴-슐츠 반복이 비평활 비볼록 최적화(nonsmooth nonconvex optimization) 문제에서 오히려 이점을 제공할 수 있음을 증명했습니다. 연구진은 뮤온을 온라인 학습자(online learner)로 분석하는 '온라인-투-비볼록 변환(online-to-nonconvex conversion)' 방식을 통해, 유한 뉴턴-슐츠 반복이 불연속적인 극 사상(discontinuous polar map)을 특이값(singular values)의 립시츠 사상(Lipschitz map)으로 평활화(smoothing)하는 효과를 가져온다는 것을 발견했습니다. 이 평활화 효과는 최적화 과정에서 수렴을 보장하는 데 필수적입니다.
연구 결과에 따르면, 목표 정확도에 대해 로그 함수적으로만 증가하는 뉴턴-슐츠 반복 깊이만으로도 비평활 비볼록 최적화에서 정류점(stationary points)으로의 수렴이 충분히 가능하다고 합니다. 심지어 정확한 극 분해를 사용하는 뮤온은 수렴에 실패할 수도 있는 반면, 유한 뉴턴-슐츠를 사용한 뮤온은 안정적인 수렴을 보였습니다. 이는 비평활 비볼록 최적화 문제에서 알려진 최상의 샘플 복잡도(sample complexity)와 일치하며, 평활 비볼록 최적화(smooth nonconvex optimization)에서는 문제 의존적 요소를 제외하면 최적의 결과를 보여줍니다. 이러한 발견은 뉴턴-슐츠를 넘어 동일한 평활화 속성을 가진 일반적인 스펙트럼 사상(spectral maps)에도 적용될 수 있어, AI 모델 학습 최적화 분야 전반에 걸쳐 중요한 시사점을 제공합니다.