인공지능 모델 학습에서 특정 패턴을 완전히 이해하고 일반화하는 현상인 그로킹(grokking)을 더 빠르게 달성하는 최적화 기법 뮤온(Muon)의 핵심 원리가 밝혀졌습니다. 기존 연구들은 뮤온의 빠른 그로킹을 스펙트럴-놈(spectral-norm) 제약과 직교화된 모멘텀(orthogonalized momentum)의 결합 덕분으로 보았으나, 최근 아카이브(arXiv)에 발표된 논문은 이 중 '직교화(orthogonalization)'가 결정적인 역할을 한다고 분석했습니다.
연구팀은 다중 시드(multi-seed) 및 다중 학습률(multi-learning-rate) 실험을 통해 뮤온의 각 구성 요소가 그로킹 속도에 미치는 영향을 분해했습니다. 그 결과, 뉴턴-슐츠(Newton-Schulz) 반복을 활용한 직교화만이 아담W(AdamW) 대비 그로킹 가속 효과를 보였으며, 스펙트럴-놈 제약만으로는 속도 향상이 없거나 오히려 불안정했습니다. 직교화된 최적화 기법은 일반화(generalization)에 도달하는 스펙트럴 놈을 약 3배 낮추는 것으로 나타났으며, 이는 단순히 임베딩(embedding)을 덜 교란하는 것을 넘어 더 낮은 놈(norm)의 솔루션에 정착하게 함을 의미합니다.
또한, 뉴턴-슐츠 반복 횟수를 5회에서 1회로 줄이면 그로킹 임계점에 더 빠르게 도달할 수 있지만, 학습률이 높을수록 그로킹된 솔루션이 취약해지고 일시적으로 붕괴될 위험이 커지는 것으로 확인되었습니다. 즉, 한 번의 반복은 작은 학습률에서만 빠르고 안정적이며, 표준적인 5회 반복은 학습률에 강건한(robust) 선택이라는 결론입니다. 이러한 발견은 최적화 기법 설계에 중요한 통찰을 제공하며, 모델이 복잡한 패턴을 효율적으로 학습하고 일반화하는 데 있어 직교화의 중요성을 강조합니다.