확산 모델(Diffusion Model)이 생성하는 이미지의 품질을 획기적으로 개선할 수 있는 새로운 최적화 프레임워크 'D2PO(Dynamic Direct Preference Optimization)'가 공개되었습니다. 기존의 확산 모델 샘플러는 고품질의 이미지를 생성하기 위해 많은 연산(NFE)을 필요로 했으며, 연산량을 줄이면 미세한 질감 표현이 저하되는 한계가 있었습니다. D2PO는 이러한 문제를 해결하며, 적은 연산으로도 시각적으로 만족스러운 고품질 이미지를 생성하는 것을 목표로 합니다.
D2PO는 기존의 '학생-교사 회귀(student-teacher regression)' 방식이 저연산(low-NFE) 학생 샘플러가 고연산(high-NFE) 교사 샘플러를 모방하는 과정에서 고주파 질감(high-frequency texture)을 희생하는 문제를 지적합니다. 이를 해결하기 위해 D2PO는 샘플러 최적화 문제를 '선호도 기반 정렬(preference-based alignment)' 문제로 재정의하고, '직접 선호도 최적화(Direct Preference Optimization, DPO)' 프레임워크를 활용합니다. 특히, 샘플링 정책을 에너지 기반 모델(Energy-Based Model, EBM)로 모델링하여 선호도 비교를 에너지 차이로 변환하고, 사전 학습된 스코어 네트워크(score network)에서 직접 파생된 새로운 에너지 공식을 도입하여 구조적 일관성과 미세한 디테일을 동시에 포착할 수 있게 했습니다. 또한, '동적 선호도(dynamic preferences)' 개념을 도입하여 학습 과정에서 선호되는 샘플이 점진적으로 개선되도록 함으로써, 고정된 교사 모델 대신 반복적이고 선호도에 기반한 정제 과정을 통해 더욱 강력한 정렬 신호를 제공합니다.
이러한 D2PO의 접근 방식은 확산 모델이 낮은 연산 제약 조건(low-NFE constraints)에서도 고품질 교사 모델의 잠재력을 최대한 발휘하고, 기존 회귀 기반 스케줄러를 일관되게 능가함을 실험을 통해 입증했습니다. 이는 이미지 생성 AI의 효율성을 높이고, 사용자가 원하는 고품질 이미지를 더 빠르고 적은 비용으로 얻을 수 있게 할 것입니다. 궁극적으로는 확산 모델의 상업적 활용 가능성을 넓히고, 개인 창작자부터 대규모 스튜디오까지 다양한 사용자에게 혁신적인 도구를 제공할 것으로 기대됩니다.