최근 연구에서 시각 온-정책 증류(Visual On-Policy Distillation, OPD) 학습 방식의 비효율성을 개선하여, 이미지 생성 인공지능(AI) 모델 학습 속도를 획기적으로 높이는 기술이 발표되었습니다. OPD는 현재 학습 중인 모델(학생 모델)이 직접 생성한 데이터를 활용해 모델을 개선하는 방식인데, 기존에는 이미지를 토큰(token) 단위로 순차적으로 생성해야 했기에 학습 과정에 상당한 시간과 비용이 소요되는 문제가 있었습니다.
이러한 문제를 해결하기 위해 연구진은 '배치 투기적 자코비 롤아웃(Batched Speculative Jacobi Rollouts, HB-SJD)'이라는 새로운 백엔드(backend) 기술을 제안했습니다. 기존의 투기적 자코비 디코딩(Speculative Jacobi Decoding, SJD)은 보조 모델 없이 여러 토큰을 병렬 처리할 수 있었지만, 단일 시퀀스 추론에만 적합했습니다. HB-SJD는 이를 확장하여 여러 이미지를 동시에 처리할 수 있도록 합니다. 각 이미지는 독립적으로 디코딩(decoding)을 진행하되, 다른 시퀀스 위치의 이미지들은 일괄적으로 검증되어 처리 효율을 극대화합니다. 또한, 이미지가 완료됨에 따라 '전체(Full)' 실행과 '압축(Compact)' 실행 모드를 전환하여 후반부 롤아웃(rollout) 비용을 절감합니다. 이 기술은 학생 모델의 롤아웃 백엔드만 교체하고, 교사 모델, 증류 목표, 최적화 절차는 그대로 유지합니다. LlamaGen을 활용한 실험 결과, HB-SJD는 롤아웃 및 전체 학습 시간을 크게 단축하면서도 증류된 학생 모델의 생성 품질을 그대로 유지하는 것으로 나타났습니다.
이 기술은 고품질 시각 AI 모델을 개발하는 데 드는 막대한 시간과 컴퓨팅 자원 비용을 줄이는 데 크게 기여할 것입니다. 특히, 이미지 생성 모델이나 비디오 생성 모델처럼 시각 데이터를 다루는 대규모 언어모델(LLM)의 학습 효율을 높여, 더 빠르고 경제적인 AI 개발을 가능하게 합니다. 이는 연구 기관이나 스타트업이 제한된 자원으로도 경쟁력 있는 시각 AI 모델을 개발할 수 있는 기회를 제공하며, 궁극적으로는 AI 기술의 상용화와 확산에 긍정적인 영향을 미 미칠 것으로 기대됩니다.