코드 생성 대규모 언어모델(LLM)의 개발에서 중요한 단계인 후속 학습(post-training)은 모델이 지시를 정확히 따르고 기능적으로 올바른 코드를 생성하도록 돕습니다. 그러나 이 과정은 트랜스포머(Transformer) 기반 LLM이 새로운 코드 샘플을 생성하고, 이를 검증하기 위해 그래픽처리장치(GPU)와 중앙처리장치(CPU) 간에 대규모 통신을 해야 하므로 막대한 컴퓨팅 자원과 시간이 소요되는 것이 일반적이었습니다. 최근 한 연구팀이 이러한 계산 비용 문제를 해결하기 위해 강화 학습(RL) 기반 후속 학습을 완전히 오프라인으로 수행할 수 있는지 탐구했습니다.
이 연구는 새로운 코드 샘플을 생성하는 대신 기존 데이터셋을 활용하는 방식을 제안합니다. 연구 결과에 따르면, 단 몇 시간의 오프라인 학습만으로도 온라인 샘플링 없이 LLM의 제로샷(zero-shot) 코드 생성 성능을 크게 향상시킬 수 있었습니다. 또한, 이러한 오프라인 강화 학습 방식은 0.5B(5억 개)부터 7B(70억 개) 매개변수에 이르는 다양한 규모의 모델에서 성능 개선을 가져왔으며, 모델 계열에 따라 개선 정도는 차이가 있었지만 전반적인 효율성을 입증했습니다.
이러한 오프라인 후속 학습 방식은 코드 LLM 개발에 있어 중요한 의미를 가집니다. 컴퓨팅 자원 제약으로 인해 고성능 코드 LLM 개발에 어려움을 겪었던 연구자나 개발팀에게 더 효율적이고 경제적인 대안을 제시할 수 있기 때문입니다. 특히, 방대한 데이터셋을 이미 보유하고 있는 경우, 이를 활용하여 모델의 성능을 빠르게 개선할 수 있어 개발 주기 단축과 비용 절감에 기여할 것으로 기대됩니다. 이는 궁극적으로 더 많은 개발자가 고품질의 코드 생성 AI를 만들고 활용할 수 있는 기회를 열어줄 것입니다.