한 개발자가 개인 프로젝트로 998달러(약 135만원)의 비용을 들여 38억 파라미터(3.8B) 규모의 대규모 언어모델(LLM)인 'little-lm'을 무작위 초기화부터 사전 학습하는 데 성공했습니다. 이 프로젝트는 엔비디아(NVIDIA) B200 GPU 8대를 43시간 동안 사용했으며, LLM 성능 측정 벤치마크인 CORE에서 0.384라는 준수한 점수를 기록하며 개인 단위에서도 상당한 규모의 LLM 학습이 가능하다는 것을 입증했습니다.
초기 학습 과정에서 낮은 성능에 직면했지만, 개발자는 Muon 옵티마이저, 사다리꼴 학습률 스케줄, ClimbMix 데이터셋, FP8 정밀도 학습 등 다양한 최적화 기법을 적용하여 성능을 크게 개선했습니다. 특히, 컨텍스트 길이(context length)를 1024토큰에서 2048토큰으로 늘렸을 때 CORE 점수가 0.3384에서 0.3840으로 상승하는 효과를 보았으며, 이는 주로 SQuAD와 BoolQ 같은 질의응답 데이터셋에서 프롬프트 잘림 현상이 줄어든 덕분이었습니다. 또한, 융합 손실 함수(fused loss function)를 통해 메모리를 절약하고 배치 크기(batch size)를 늘려 전체 학습 처리량을 향상시키는 등, 개별 연산 속도보다는 전체 학습 처리량과 메모리 효율성에 중점을 둔 접근 방식이 주효했습니다.
이번 'little-lm' 프로젝트는 소규모 개발자나 연구자도 합리적인 비용으로 자체 LLM을 구축하고 실험할 수 있다는 가능성을 제시합니다. 특히, 학습 프레임워크를 YAML 설정 기반으로 유연하게 설계하여 옵티마이저나 데이터셋 교체를 쉽게 할 수 있도록 한 점은 향후 개인 및 소규모 팀의 LLM 개발에 중요한 참고 자료가 될 것입니다. 이는 대기업이나 대규모 연구 기관의 전유물로 여겨지던 LLM 개발의 문턱을 낮추고, 더 많은 혁신적인 시도와 맞춤형 LLM의 등장을 촉진할 수 있는 의미 있는 진전으로 평가됩니다.