블랙 포레스트 랩스(Black Forest Labs, BFL)가 이미지, 비디오, 오디오를 하나의 모델로 통합 처리하는 멀티모달 AI 모델 '플럭스 3(Flux 3)'를 공개했습니다. 이 모델은 텍스트, 이미지, 비디오, 오디오 등 다양한 형태의 입력을 받아 이미지와 비디오를 생성하고 편집할 수 있으며, 실제 세계의 복합적인 정보를 이해하고 표현하는 데 중점을 둡니다. 특히 비디오 생성에서 경쟁 모델들을 능가하는 성능을 보여주며 주목받고 있습니다.
플럭스 3는 BFL의 '셀프-플로우(Self-Flow)' 아키텍처를 기반으로, 방대한 양의 비디오, 이미지, 오디오 데이터를 동시에 학습하여 구축되었습니다. 이를 통해 단일 모델로 다양한 모달리티를 혼합하고, 텍스트나 참조 미디어(이미지, 비디오)를 활용해 비디오와 오디오를 함께 생성할 수 있습니다. 최대 20초 길이의 비디오를 생성하며, 텍스트-투-비디오, 이미지-투-비디오, 비디오-투-비디오 변환 등 다양한 비디오 생성 및 편집 기능을 제공합니다. 예비 평가에서 루마 AI(Luma AI)의 레이(Ray) 모델보다 높은 선호도를 기록했으며, 특히 사람의 얼굴 표정, 물리적 이벤트에 맞는 사운드 매칭, 다국어 생성 능력에서 강점을 보입니다. 또한, 이미지 합성 및 편집 기능도 강화되어 복잡한 프롬프트 처리와 고정확도 텍스트 렌더링이 가능합니다.
플럭스 3의 가장 큰 특징은 '행동 예측(action prediction)' 기능으로, 단순히 장면을 인식하는 것을 넘어 다음 발생할 일을 예측하는 물리적 AI(Physical AI) 분야로 확장될 잠재력을 가졌다는 점입니다. BFL은 미믹 로보틱스(mimic robotics)와의 협력을 통해 플럭스 3의 비디오 백본을 로봇 학습에 적용, 아우디(Audi)의 실제 생산 작업에 테스트 중입니다. 이는 콘텐츠 생성과 물리적 AI를 동일한 세계 모델(world model)로 연결하려는 시도로, AI가 가상 세계를 넘어 현실 세계의 복잡한 상호작용을 이해하고 예측하는 데 중요한 진전을 의미합니다. 플럭스 3는 비디오, 이미지, 액션 예측 기능을 단계적으로 API 및 비공개 가중치 접근 방식으로 출시할 예정이며, 최종적으로는 멀티모달 백본에 대한 오픈 가중치 접근도 계획하고 있습니다.