Linum(리넘)이 차세대 영상 모델 개발을 위한 개념 증명으로, 단 2만 1천 달러(약 2,800만 원)의 GPU 학습 비용으로 고품질 이미지를 생성하는 'Pyramid-JiT(P-JiT)' 모델의 가중치를 Apache 2.0 라이선스로 공개했습니다. 이 모델은 기존의 복잡한 구조 대신 효율적인 학습 방식을 도입하여, 적은 비용으로도 뛰어난 성능을 보여주며 AI 기반 애니메이션 제작 도구의 가능성을 넓히고 있습니다.
P-JiT는 기존 이미지 생성 모델들이 사용하는 별도의 VAE(Variational AutoEncoder) 없이 픽셀 공간에서 압축과 생성을 동시에 학습하는 독특한 접근 방식을 취합니다. 32x32 토큰 축소를 통해 어텐션(attention) 문맥 길이를 기존 Linum v2 대비 4분의 1로 줄여, 학습 및 추론 비용의 핵심 병목인 O(n²) 어텐션 문제를 해결했습니다. 또한, DiT(Diffusion Transformer) 중간 블록에서 저해상도 이미지를 예측하도록 하여 초기 블록의 기울기 신호를 강화하고 수렴 속도를 가속화했습니다. 이 모델은 2B(20억) 규모의 DiT와 4B(40억) 텍스트 인코더를 사용하며, 512x512 해상도에서 사전 학습 후 1024x1024 해상도로 후속 학습을 진행했습니다. 총 6억 6천만 개의 샘플로 학습되었으며, 이는 Linum v2 대비 11배 적은 샘플로 수렴하는 효율성을 보여주었습니다.
Linum은 현재 생성형 영상 모델이 느리고 비싸며 제어 수단도 부족하다는 문제의식에서 P-JiT를 개발했습니다. 애니메이션 제작과 같은 창작 과정에서는 반복적인 수정이 필수적인데, 높은 비용과 제한적인 제어는 스토리텔링 활용을 어렵게 만듭니다. P-JiT는 영상 모델의 비용을 획기적으로 낮추기 위한 첫걸음으로, 이미지 모델에서 시작하여 사람, 장소, 사물 등을 학습한 뒤 동작과 움직임을 학습하는 일반적인 영상 모델 개발 과정을 따릅니다. 이번 실험적 공개는 Linum v3 개발에서 추론 비용을 크게 낮추는 것을 목표로 하며, 저렴한 비용으로도 고품질 결과물을 얻을 수 있음을 증명하여 AI 기반 창작 도구의 대중화를 앞당길 잠재력을 보여줍니다.