인공신경망(neural networks)이 훈련 과정에서 단순히 데이터를 암기하는 단계를 넘어, 새로운 데이터에도 잘 작동하는 일반화(generalization) 능력으로 갑자기 전환되는 현상을 '그로킹(grokking)'이라고 합니다. 그로킹은 2022년 처음 관찰된 이후 많은 연구가 진행되었지만, 왜 이런 현상이 발생하는지에 대한 이론적 설명은 있었어도, 어떤 조건에서 언제 발생하는지에 대한 정량적인 분석은 부족했습니다.
최근 Anish Kataria의 연구는 이러한 그로킹 현상이 언제 발생하는지 예측하는 스케일링 법칙(scaling laws)을 제시했습니다. 연구팀은 모듈러 산술(modular arithmetic) 문제를 푸는 두 개의 은닉층을 가진 다층 퍼셉트론(MLP) 384개 구성을 분석하여, 일반화가 시작되는 시간($T_{\mathrm{grok}}$)이 모델의 하이퍼파라미터(hyperparameter)와 어떤 관계를 가지는지 파워-법칙(power-law)으로 정량화했습니다. 특히, 데이터 복잡성($D^{-2.04}$)이 모델 용량($H^{-0.27}$)보다 일반화 전환에 훨씬 더 큰 영향을 미친다는 것을 발견했습니다. 즉, 데이터 양을 두 배 늘리면 일반화 속도가 약 4배 빨라지는 반면, 모델의 너비(hidden layer size)를 두 배 늘려도 일반화는 약 1.2배만 빨라지는 것으로 나타났습니다. 또한, 가중치 감소(weight decay, $\lambda$) 값이 1.0 이상일 때 그로킹이 발생하지 않는 명확한 경계가 존재하며, 그로킹 전환 시 가중치 노름(weight norm)이 단조롭게 압축되는 현상도 확인되었습니다. 이는 암묵적 정규화(implicit regularization)가 낮은 복잡도의 해법을 선택한다는 기존 가설과 일치합니다.
이 연구 결과는 과매개변수화된 신경망의 복잡한 동작을 이해하고 제어하는 데 중요한 정량적 기반을 마련했습니다. 그로킹 현상의 발생 시점을 예측하고 조절할 수 있게 됨으로써, AI 모델의 훈련 효율성을 높이고 예측 불가능성을 줄일 수 있을 것으로 기대됩니다. 특히, 모델의 크기를 무작정 키우기보다는 데이터의 질과 양을 최적화하는 것이 일반화 성능 향상에 더 효과적일 수 있다는 실용적인 시사점을 제공합니다. 이는 AI 모델 개발자들이 자원 배분을 더욱 효율적으로 할 수 있도록 돕고, 궁극적으로 더 안정적이고 성능 좋은 AI 시스템을 구축하는 데 기여할 것입니다.