인공지능(AI) 모델 학습의 핵심 과제 중 하나는 정확도와 효율성 사이의 균형을 맞추는 것입니다. 최근 발표된 연구 'Temperon'은 이 난제를 해결할 새로운 접근 방식을 제시했습니다. Sharpness-aware Minimization(SAM)은 모델의 일반화 성능과 정확도를 향상시키는 효과적인 방법이지만, 학습 단계마다 두 배의 계산 비용이 발생한다는 단점이 있었습니다. Temperon은 이 비싼 SAM 기법을 학습 과정의 특정 시점에만 전략적으로 활용하여, 전체 학습 시간을 최대 35% 단축하면서도 풀타임 SAM과 동일한 수준의 정확도를 달성하는 데 성공했습니다.
Temperon의 핵심은 학습 예산의 첫 43% 동안은 일반적인 확률적 경사 하강법(SGD)을 '탐색기(explorer)'로 사용하고, 이후 한 번의 전환(hand-off)을 통해 SAM이 적용된 'Muon 정제기(refiner)'에게 최종 코사인 어닐링(cosine annealing) 단계를 맡기는 방식입니다. CIFAR-10/100, SVHN, Tiny ImageNet 등 다양한 데이터셋에서 실험한 결과, Temperon은 가장 어려운 목표 정확도에 도달하는 시간을 32%에서 35%까지 단축했습니다. 특히 Muon 정제기의 기여가 +0.85%p에 달하며, 이 정제기가 없는 SAM+SGD 방식보다 월등한 성능을 보였습니다. 또한, GPT-2 사전 학습에서는 29%, GLUE 미세조정(fine-tuning)에서는 SAM 비용의 3분의 1로 풀타임 SAM과 동일한 품질을 달성했습니다.
이러한 결과는 AI 모델 학습 비용 효율성을 혁신적으로 개선할 잠재력을 가지고 있습니다. 특히 대규모 언어 모델(LLM)과 같이 학습에 막대한 자원이 소요되는 분야에서 Temperon과 같은 최적화 기법은 개발 시간과 비용을 크게 절감할 수 있습니다. 이는 더 많은 연구자와 기업이 고품질 AI 모델을 개발하고 배포하는 데 진입 장벽을 낮추는 효과를 가져올 것입니다. 또한, 학습 스케줄에 따라 최적의 전환 시점을 결정하는 원칙적인 접근 방식은 향후 AI 학습 방법론 연구에 중요한 시사점을 제공합니다.