확산 모델(Diffusion Model)을 특정 작업에 맞춰 미세조정(fine-tuning)할 때, LoRA(Low-Rank Adaptation) 기법이 널리 사용됩니다. 하지만 LoRA 랭크(rank)를 어떻게 설정해야 이미지 품질과 계산 비용 사이에서 최적의 균형을 찾을 수 있는지에 대한 명확한 가이드라인은 부족했습니다. 최근 발표된 연구는 이 문제에 대한 통제된 실험을 통해 실용적인 해답을 제시합니다.
연구팀은 CIFAR-10 데이터셋과 DDPM(Denoising Diffusion Probabilistic Models) U-Net 구조를 사용하여 랭크 2, 4, 8, 16, 32 등 다양한 LoRA 랭크를 비교 분석했습니다. 고정된 최적화 설정과 재현 가능한 평가 프로토콜(pytorch-fid)을 사용해 FID(Fréchet Inception Distance), 학습 가능한 매개변수 수, 실행 시간, GPU 메모리 사용량을 측정했습니다. 실험 결과, 랭크 4가 가장 우수한 DDPM FID(124.1380)를 달성했으며, 랭크 8 또한 근접한 성능(124.2136)을 보였습니다. 반면, 더 높은 랭크는 적응 비용이 크게 증가함에도 불구하고 품질 개선 효과는 미미한 것으로 나타났습니다.
이러한 결과는 제한된 학습 예산 내에서 확산 모델을 미세조정할 때 낮은 랭크에서 중간 랭크(예: 4~8)가 가장 효율적인 기본값이라는 점을 시사합니다. 이는 개발자들이 불필요하게 높은 랭크를 선택하여 계산 자원을 낭비하지 않고도 만족스러운 이미지 생성 품질을 얻을 수 있음을 의미합니다. 특히, 자원 제약이 있는 환경이나 개인 개발자들에게는 모델 미세조정 전략 수립에 중요한 참고 자료가 될 것입니다.