AI 기반의 새로운 동영상 편집 도구 '튜브비즈(Tubeviz)'가 공개되어, 음악에 맞춰 유튜브 영상을 자동으로 편집하는 기능을 선보였습니다. 이 프로젝트는 단순한 실험에서 시작해 영상 분석, 구성, 렌더링을 아우르는 종합 시스템으로 발전했으며, 사용자가 직접 영상을 자르고 붙이는 수고를 덜어주면서도 음악의 리듬과 영상의 시각적 요소를 정교하게 결합하는 것이 특징입니다.
튜브비즈는 사용자가 제공한 음악 트랙과 선별된 유튜브 영상 라이브러리를 기반으로 작동합니다. 주요 기능으로는 영상 푸티지(footage) 확보 및 큐레이션, 장면 감지, 음악 분석(비트, 박자, 템포 등), 편집 계획 수립, 시각 효과 적용, 그리고 최종 비디오 렌더링까지 포함됩니다. 특히, 브라우저 기반의 스튜디오 워크플로우와 명령줄 인터페이스(CLI)를 모두 제공하여 사용자 편의성을 높였으며, 영구적인 클립 라이브러리와 버전 관리되는 타임라인 JSON 형식으로 분석 및 편집 결정을 분리하여 효율적인 작업이 가능합니다.
이 도구는 비트, 박자, 템포 등 음악의 구조적 정보와 함께 영상의 장면, 움직임, 복잡도, 색상 팔레트 등 시각적 특징을 종합적으로 분석하여 편집에 반영합니다. 또한, OpenCLIP 임베딩(embeddings)과 AI 생성 시각 설명을 활용해 영상 콘텐츠의 의미론적 분석까지 수행합니다. 이러한 기능들은 1인 크리에이터나 소규모 프로덕션 팀이 전문적인 뮤직 비디오나 콘텐츠를 제작하는 데 드는 시간과 비용을 획기적으로 줄여줄 수 있으며, 창의적인 아이디어를 더욱 쉽게 구현할 수 있는 기반을 제공할 것으로 기대됩니다.