대규모 언어모델(LLM)의 성능을 끌어올리는 핵심 단계 중 하나인 강화학습 후처리(Reinforcement Learning Post-Training)는 막대한 컴퓨팅 자원을 요구하는 과정입니다. 특히 응답 생성(response generation) 단계에서 발생하는 비효율은 전체 학습 과정의 병목(bottleneck)으로 작용해왔습니다. 최근 발표된 연구에 따르면, 'FlexFloor'라는 새로운 시스템이 이러한 비효율을 해결하여 LLM 후처리 학습의 자원 효율성을 크게 높였습니다.
기존 혼합 전문가(Mixture-of-Experts, MoE) 모델에서는 각 작업자(worker)가 할당된 응답 생성을 마쳐도, 다른 작업자가 더 긴 응답을 처리하기 위해 해당 전문가(expert)를 계속 필요로 하는 경우가 많았습니다. 이로 인해 작업자의 약 3분의 1에 해당하는 시간이 응답 생성이 완료된 후에도 자원이 점유된 채로 낭비되는 문제가 있었습니다. FlexFloor는 응답 스케줄링과 활성 작업자 그룹을 유연하게 조정하여, 응답 생성 중에도 자원을 조기에 해제하면서 필요한 전문가 연산은 유지합니다. 과거 응답 길이와 메모리 제약 조건을 활용해 배치(batching) 및 프롬프트 배치(prompt placement)를 최적화하고, 전문가 가용성을 유지하며 점진적으로 작업자를 해제하는 방식입니다. 이 시스템은 기존 대비 컴퓨팅 시간 단위당 약 65.40% 더 많은 응답 토큰을 생성하고, 응답 생성 처리량(throughput)을 52.74% 증가시키는 놀라운 성과를 보였습니다.
FlexFloor의 등장은 LLM 개발 및 개선 주기를 획기적으로 단축할 수 있다는 점에서 중요한 의미를 가집니다. 강화학습 후처리 과정의 효율성 증대는 모델 개발자들이 더 빠르고 비용 효율적으로 새로운 모델을 개발하고 반복적으로 개선할 수 있는 환경을 제공합니다. 이는 궁극적으로 더 강력하고 다양한 인공지능(AI) 에이전트와 애플리케이션의 등장을 가속화하며, AI 기술의 상용화와 확산에 긍정적인 영향을 미칠 것으로 기대됩니다.