최근 진행된 흥미로운 실험에서, 최신 대규모 언어모델(LLM)인 클로드 페이블 5(Claude Fable 5)와 GPT-5.6 솔(GPT-5.6 Sol)이 단 100달러의 예산으로 자율적으로 뮤직비디오를 제작하는 데 성공했습니다. 이 실험은 AI 에이전트가 주어진 예산과 도구를 활용해 복잡하고 창의적인 작업을 얼마나 효과적으로 수행할 수 있는지 보여주며, 미래 콘텐츠 제작 방식에 대한 시사점을 던집니다.
TryAI는 각 모델에 브루노 마스와 마크 론슨의 '업타운 펑크(Uptown Funk)' 노래, 예산(25달러 또는 100달러), 웹 검색 및 로컬 FFmpeg 같은 도구를 제공했습니다. 모델들은 스스로 영상 생성 모델을 조사하고, 클립을 만들고, 자체 영상을 검토하며, FFmpeg으로 편집해 최종 결과물을 완성했습니다. 특히 GPT-5.6 솔은 25달러 예산에서 이미지-투-비디오(image-to-video) 파이프라인을 사용하거나, 100달러 예산에서는 세 가지 다른 영상 모델을 혼합하는 등 다양한 전략을 구사했습니다. 반면 클로드 페이블 5는 주로 텍스트-투-비디오(text-to-video) 방식에 집중했습니다. 총 비용 분석 결과, 영상 생성 비용 외에 LLM 자체의 토큰 비용까지 합산하면 클로드 페이블 5가 GPT-5.6 솔보다 더 높은 총비용을 기록했습니다.
이 실험은 AI 에이전트가 단순한 텍스트 생성에서 벗어나, 예산 관리, 도구 활용, 창의적 의사결정 등 복합적인 장기 목표(long-horizon task)를 수행할 수 있음을 입증합니다. 비록 최종 뮤직비디오의 품질이 아직 전문가 수준에는 미치지 못했지만, AI가 자율적으로 콘텐츠를 기획하고 제작하는 과정 자체의 가능성을 보여주었습니다. 이는 향후 개인 크리에이터나 소규모 스튜디오가 저예산으로 고품질 콘텐츠를 제작할 수 있는 새로운 길을 열어줄 잠재력을 가지고 있습니다. 또한, 오픈소스(open-source)로 공개된 '뮤직비디오 아레나(music-video-arena)' 프로젝트는 누구나 직접 AI 모델의 성능을 비교하고 실험해 볼 수 있는 기회를 제공하며, AI 기반 콘텐츠 제작 도구의 발전과 대중화를 가속화할 것으로 기대됩니다.