최근 arXiv에 발표된 연구는 트랜스포머(Transformer) 모델 학습 과정에서 가중치(weight) 크기의 변화를 예측할 수 있는 새로운 법칙을 제시했습니다. 이 연구는 훈련된 트랜스포머의 가중치 크기가 와이블 분포(Weibull distribution)를 따르며, 그 형태(shape)는 모델과 레이어에 걸쳐 안정적이고, 스케일(scale) 파라미터 람다(λ)가 학습에 따른 변화의 대부분을 설명한다는 점에 주목했습니다. 핵심은 이 람다의 성장이 데이터의 어떤 속성에 의해 결정되는지를 밝혀낸 것입니다.
연구팀은 학습 데이터의 예측 가능성을 나타내는 지표로 빅그램 조건부 엔트로피(bigram conditional entropy) D를 사용했습니다. 이는 훈련을 시작하기 전에 계산할 수 있는 통계량으로, 이전 단어(prev)가 주어졌을 때 다음 단어(next)를 얼마나 예측하기 어려운지를 나타냅니다. 다양한 데이터 손상(corruption) 실험을 통해, 학습률(learning rate)에 따라 조건화된 법칙 $\lambda^2 - \lambda_0^2 = C_0(\eta) + C_1(\eta)(H_r - D)^{0.59}$을 발견했습니다. 여기서 $H_r$은 기준선 엔트로피이며, 이 법칙은 학습률에 따른 두 계수($C_0, C_1$)를 제거하면 단일 함수로 수렴하여 가중치 성장을 높은 정확도(R²=0.941)로 예측할 수 있음을 보여주었습니다. 이는 학습 전 데이터 분석만으로 모델의 가중치 변화를 미리 알 수 있다는 의미입니다.
이 연구 결과는 대규모 언어모델(LLM) 학습의 효율성을 크게 향상시킬 수 있는 중요한 시사점을 제공합니다. 학습 전 데이터의 예측 가능성을 측정함으로써, 특정 데이터셋으로 모델을 훈련했을 때 가중치가 얼마나 성장할지 미리 예측하고, 이를 바탕으로 학습 전략을 최적화할 수 있습니다. 예를 들어, 예측 가능성이 낮은 데이터를 사용하여 모델의 표현력을 더 효과적으로 확장하거나, 특정 가중치 성장을 목표로 학습률을 조정하는 데 활용될 수 있습니다. 이는 모델 개발자들이 불필요한 시행착오를 줄이고, 자원 소모가 큰 LLM 학습 과정을 더욱 효율적으로 설계하는 데 기여할 것입니다.