한 개발자가 클로드(Claude) AI를 영화 감독처럼 활용하여 10분 길이의 단편 영화를 제작하는 흥미로운 파이프라인을 구축하고 이를 공개했습니다. 이 파이프라인은 다양한 AI 도구를 조합해 영상, 이미지, 음성 등 영화 제작에 필요한 요소를 생성하며, 클로드 AI는 전체적인 스토리와 연출을 지시하는 역할을 맡습니다. 이를 통해 누구나 비교적 적은 시간과 비용으로 자신만의 AI 단편 영화를 만들 수 있는 가능성을 제시합니다.
이 AI 영화 제작 파이프라인은 시댄스 2.0(Seedance 2.0)으로 영상, 나노 바나나 프로(Nano Banana Pro)로 이미지, 소닐로(Sonilo)로 음악을 생성하며, 이 모든 과정은 힉스필드(Higgsfield) CLI를 통해 이루어집니다. 여기에 일레븐랩스(ElevenLabs)의 음성 생성 기술과 제미니(Gemini)의 오디오/이미지 품질 관리(QC) 기능, 그리고 FFmpeg를 활용한 편집 작업이 더해집니다. 첫 번째 완성작인 11분 길이의 코미디 영화 '더 롱 게임(The Long Game)'은 약 80개의 샷으로 구성되었으며, 약 15번의 반복 작업을 거쳐 완성되었습니다. 초기 영화 제작에는 총 2.5시간의 작업 시간과 약 200달러의 비용이 들었지만, 스토리보드나 음성 샘플과 같은 중간 결과물 덕분에 반복 작업이 용이하다는 장점이 있습니다.
이 프로젝트는 '앵커(캐릭터 초상화) 생성 → 장면별 시작 프레임 생성 → 음성 캐스팅 및 스크립트 TTS → 애니매틱(스틸 이미지+TTS) 제작 → 시댄스 클립 생성 → 음악 및 분위기 추가 → FFmpeg 조립 → 스토리보드 및 미리보기 생성 → 감독 피드백 반영 → 수정'의 과정을 따릅니다. 특히 애니매틱 단계에서 저렴하게 전체 흐름을 검토하고 수정할 수 있어 효율적입니다. 이 파이프라인은 AI 기술을 활용한 콘텐츠 제작의 새로운 지평을 열었으며, 개인 창작자들이 복잡한 영상 제작 과정을 AI의 도움을 받아 간소화하고, 창의적인 아이디어를 시각화하는 데 큰 도움이 될 것으로 기대됩니다. 이는 영화 제작의 진입 장벽을 낮추고, 더 많은 사람이 스토리텔링에 참여할 수 있는 기회를 제공할 것입니다.