최근 대규모 언어모델(LLM)의 활용이 늘면서 모델의 크기를 줄여 효율성을 높이는 '압축(compression)' 기술이 중요해지고 있습니다. 이러한 배경 속에서 새로운 연구가 LLM 압축의 효율성을 획기적으로 개선할 수 있는 '계층별 커리큘럼 학습(Layer-wise Curriculum Learning)' 방법을 제안했습니다. 이 기술은 모델을 여러 부분으로 나누어 순차적으로 학습함으로써, 기존 방식보다 훨씬 적은 자원으로도 우수한 압축 성능을 달성할 수 있음을 보여줍니다.
제안된 방법은 교사 모델(teacher model)의 지식을 학생 모델(student model)로 효과적으로 전달하기 위해 커리큘럼 학습(curriculum learning) 접근 방식을 사용합니다. 이는 마치 사람이 쉬운 내용부터 배우고 점차 어려운 내용으로 넘어가는 것처럼, 모델도 쉬운 최적화 작업부터 시작해 점진적으로 복잡한 문제들을 해결하도록 훈련하는 방식입니다. 특히, 전체 모델을 여러 계층(layer)으로 구성된 세그먼트(segment)로 분할하여 이 '계층별 학습'을 LLM 압축에 적용함으로써, 지식 전달 과정의 계산 효율성을 크게 높였습니다. 연구팀은 누적 오류(cumulative error) 현상에 대한 이론적 분석을 바탕으로, 이 방식이 지식 전달 과정을 안정화하면서 수렴 속도를 가속화한다고 설명합니다. 또한, 계층 간 특징 불일치(feature misalignment) 문제를 효율적으로 해결하기 위해 멀티스레딩(multi-threading) 전략을 활용한 특징 캐싱(feature caching) 기법을 도입하여 GPU 활용도를 극대화했습니다.
이러한 계층별 커리큘럼 학습은 LLM 경량화 분야에 중요한 진전을 가져올 것으로 기대됩니다. 실험 결과, BERT와 GPT-2 모델에서 GPU 메모리 사용량과 훈련 시간을 50% 이상 절감하면서도 최신(state-of-the-art) 모델 압축 성능을 달성했습니다. 또한, LLaMA-패밀리 및 Qwen 모델에서도 동일한 훈련 시간 대비 더 낮은 GPU 메모리 사용량으로 다른 가지치기(pruning) 방법들보다 뛰어난 성능을 보였습니다. 이는 제한된 컴퓨팅 자원을 가진 환경에서도 고성능 LLM을 효율적으로 배포하고 활용할 수 있는 가능성을 열어주며, LLM 서비스의 접근성을 높이는 데 기여할 것입니다.