코딩 에이전트(coding agent) 환경에서 영상 콘텐츠를 손쉽게 현지화하고 재활용할 수 있는 'Perso Dubbing Plugin'이 공개되었습니다. 이 플러그인을 사용하면 "이 영상을 일본어로 더빙해 줘"와 같은 간단한 명령만으로 영상 더빙, 자막 생성 및 번역, 영상 클리핑 등의 복잡한 작업을 처리할 수 있습니다. 개발자들은 이제 익숙한 코드 환경에서 영상 편집 및 번역 작업을 효율적으로 수행할 수 있게 되었습니다.
Perso Dubbing Plugin은 크게 두 가지 방식으로 작동합니다. 첫째, 자막 번역, 스타일링, 영상 클리핑(타임코드 기반)과 같은 기능은 사용자의 로컬 머신에서 FFmpeg을 통해 무료로 실행됩니다. 이는 개인 정보 보호에 강하며, 별도의 계정이나 업로드 과정이 필요 없습니다. 둘째, AI 기반의 고급 기능인 영상 더빙, 립싱크, 음성 분리(voice separation), 음성-텍스트 변환(STT)은 Perso AI 서버의 API를 통해 제공되며, 사용량에 따라 크레딧이 소모됩니다. 특히 더빙 기능은 원본 음성을 복제하여 새로운 언어로 입히고, 립싱크는 더빙된 오디오에 맞춰 입 모양을 조정합니다. YouTube나 TikTok URL은 물론, 로컬 파일이나 폴더도 모두 지원합니다.
이 플러그인은 영상 콘텐츠 제작자와 마케터에게 혁신적인 워크플로우를 제공합니다. 다국어 콘텐츠 제작에 드는 시간과 비용을 획기적으로 줄여 글로벌 시장 진출을 가속화할 수 있습니다. 또한, 긴 영상을 짧은 숏폼 콘텐츠로 자동 변환하고 AI가 하이라이트 구간을 선별하는 기능은 콘텐츠 재활용 및 확산에 큰 도움이 됩니다. 코딩 에이전트와의 통합은 개발자들이 영상 처리 작업을 자동화하고 스크립트화할 수 있게 하여, 기존의 수동 작업 방식보다 훨씬 빠르고 효율적인 콘텐츠 파이프라인 구축을 가능하게 할 것입니다.