AI 오디오 기술 기업 일레븐랩스(ElevenLabs)가 영상 및 오디오 콘텐츠를 위한 혁신적인 번역·더빙 모델 '더빙 v2(Dubbing v2)'를 선보였습니다. 이 모델은 기존 AI 더빙이 텍스트 스크립트에만 의존해 부자연스럽고 단조로운 음성을 생성하던 한계를 뛰어넘어, 원본 음성의 감정, 톤, 억양, 말의 간격 등 화자의 실제 발화 특성을 다국어 더빙에 그대로 반영하는 것이 특징입니다.
더빙 v2는 영어를 포함해 90개 이상의 언어를 지원하며, 단순히 직역하는 것을 넘어 목표 언어의 문맥에 맞게 번역을 조정합니다. 또한, 번역된 음성을 원본 영상의 시작과 종료 타이밍에 맞춰 정렬하는 기능을 제공하여 자연스러운 시청 경험을 가능하게 합니다. 특히 원본 화자의 음색과 피치, 톤을 자동으로 반영하는 보이스 클로닝(Voice Cloning) 기능은 AI 더빙의 품질을 한층 끌어올렸습니다. 일레븐랩스의 기술은 이미 SBS 다큐멘터리 '괴물의 시간' 제작에 적용되어 실존 인물의 목소리를 성공적으로 재생성한 바 있습니다.
이번 '더빙 v2' 출시는 막대한 제작 공정과 비용으로 인해 해외 진출에 어려움을 겪던 K-콘텐츠 산업에 큰 기회가 될 것으로 보입니다. 드라마, 영화, K-팝, 웹툰, 게임, 애니메이션 등 한국의 글로벌 콘텐츠 자산이 언어 장벽 없이 전 세계 시청자들에게 더욱 쉽게 다가갈 수 있게 된 것입니다. 일레븐랩스 한국 총괄 홍상원 씨는 '번역된 음성이 원본 화자가 실제로 그 언어를 구사한 것처럼 느끼게 만드는 것이 AI 더빙의 가장 큰 난제였다'며, '더빙 v2가 국내 크리에이터와 콘텐츠 기업들이 언어 장벽을 넘어 소통하는 교두보가 될 것'이라고 강조했습니다. 이 기술은 일레븐랩스 플랫폼(UI)을 통해 제공되며, 기업 고객을 위한 API도 순차적으로 확대될 예정입니다.