AI 음성 기술 분야의 선두 주자인 일레븐랩스(ElevenLabs)가 원본 음성의 감정과 뉘앙스를 충실히 보존하는 AI 더빙 모델 '더빙 v2(Dubbing v2)'를 개발자용 API인 '일레븐API'를 통해 공개했습니다. 이는 지난 5월 28일 사용자 인터페이스(UI) 버전으로 먼저 선보였던 모델을 외부 서비스와 워크플로우에 직접 연동할 수 있도록 확장한 조치입니다. 이제 다양한 기업들이 자사 플랫폼에 고품질의 다국어 더빙 기능을 손쉽게 통합할 수 있게 되었습니다.
더빙 v2는 기존의 '음성 인식-번역-음성 합성'이라는 다단계 파이프라인 대신, 음성을 음성으로 직접 변환하는(audio-to-audio) 혁신적인 구조를 채택했습니다. 이 방식은 입력된 음성에서 곧바로 출력 음성을 생성하기 때문에, 원본 화자의 감정 표현, 억양, 연기 등 퍼포먼스 요소를 훨씬 더 충실하게 반영할 수 있습니다. 또한, 화자 본인의 목소리를 복제하여 다른 언어로 옮기고, 영상의 발화 타이밍에 맞춰 자연스럽게 동기화되도록 설계되었습니다. 현재 한국어와 일본어를 포함한 92개 언어를 지원하며, 영상 속 입 모양을 바꾸는 AI 립싱크나 라이브 스트리밍 실시간 더빙 기능은 이번 출시 범위에는 포함되지 않았습니다.
일레븐랩스는 더빙 v2의 주요 활용처로 영상 크리에이터, 게임 스튜디오의 대사 및 컷신 현지화(localization), 소비재 및 여행 업계의 다국어 마케팅 영상 제작, 그리고 스트리밍 및 미디어 기업의 장편 콘텐츠 다지역 배포 등을 꼽고 있습니다. 기존 영화나 TV급 더빙 작업에 분당 수백 달러가 소요되던 것에 비해, 더빙 v2는 더 넓은 기업 고객층이 고품질 더빙을 합리적인 비용으로 활용할 수 있도록 하는 것을 목표로 합니다. 특히 K-콘텐츠의 해외 더빙과 해외 콘텐츠의 한국어 더빙 등 양방향 활용 가능성이 커져 글로벌 콘텐츠 시장에서 중요한 도구가 될 것으로 전망됩니다.