블랙 포레스트 랩스(Black Forest Labs, BFL)가 새로운 멀티모달 파운데이션 모델 FLUX 3를 발표했습니다. 이 모델은 이미지, 비디오, 오디오를 동시에 학습하여 물리 세계의 작동 방식을 깊이 이해하는 것이 특징입니다. 특히, 로봇 학습 스타트업 미믹(mimic)과의 협력을 통해 FLUX 3의 세계 이해 능력을 로봇의 실제 행동 제어에 접목한 FLUX-mimic 모델을 개발, 아우디(Audi) 생산 라인에 테스트 배포하며 차세대 비디오-액션 모델의 가능성을 보여주었습니다.
FLUX 3는 기존의 이미지 생성 모델인 FLUX 1, 2에서 한 단계 더 나아가 오디오-비디오 콘텐츠를 공동으로 생성합니다. 흥미로운 점은 시각 콘텐츠 생성과 로봇 제어가 겉보기에는 달라 보이지만, 실제로는 물리 세계가 어떻게 반응하는지에 대한 근본적인 이해를 공유한다는 것입니다. FLUX 3는 비디오 예측 훈련에 전체 컴퓨팅 비용의 95% 이상을 할애하며, 이를 통해 접촉, 움직임, 무게, 인과관계 등 물리 세계의 복잡한 상호작용을 학습합니다. 이러한 세계 모델링 능력이 로봇의 행동 예측에도 핵심적인 역할을 합니다. 모델은 비디오와 오디오 간의 인과 관계를 학습한 후, 로봇의 저차원 상태 표현과 시각적 관찰을 결합하여 행동을 예측합니다.
FLUX 3의 핵심은 단일 백본(backbone)이 콘텐츠 생성과 물리적 인공지능(Physical AI)이라는 두 가지 응용 분야를 모두 지원한다는 점입니다. 모델이 새로운 행동(action) 모달리티를 통합하는 초기에는 비디오 생성 품질이 일시적으로 저하되었으나, 3,500단계의 학습 후에는 기존 비디오 생성 품질을 완전히 회복하면서 행동 예측 능력까지 갖추게 되었습니다. 이는 비디오 생성과 행동 예측이 별도의 기반을 필요로 하지 않으며, 세계를 이해하는 단일 모델이 두 가지 기능을 모두 수행할 수 있음을 의미합니다. BFL은 FLUX 3를 통해 시각 지능을 기반으로 한 하나의 파운데이션 모델이 다양한 애플리케이션으로 확장될 수 있음을 입증했습니다. 미믹과의 협력을 통해 FLUX-mimic은 FLUX 3의 학습된 세계 모델에서 행동을 디코딩하는 경량 액션 디코더를 훈련하여 실제 산업용 로봇에 적용 가능성을 확인했습니다.
이러한 발전은 로봇 공학 및 자동화 산업에 큰 영향을 미칠 것으로 예상됩니다. 물리 세계를 깊이 이해하는 단일 파운데이션 모델은 로봇이 더욱 복잡하고 섬세한 작업을 수행할 수 있도록 돕고, 다양한 환경에 빠르게 적응할 수 있는 범용 로봇 개발을 가속화할 것입니다. 또한, 콘텐츠 생성과 로봇 제어가 동일한 기반 위에서 이루어짐으로써, 가상 환경에서의 시뮬레이션 학습이 실제 로봇에 더욱 효과적으로 전이될 수 있는 길을 열어줄 것입니다. 이는 로봇 학습의 효율성을 극대화하고, 새로운 자동화 솔루션 개발 비용을 절감하는 데 기여할 것입니다.