최근 공개된 오픈소스 데스크톱 앱 'VoiceStudio'는 음성 복제(voice cloning), 더빙, 받아쓰기 등 복잡한 음성 작업을 사용자 컴퓨터에서 직접 처리할 수 있게 해 주목받고 있습니다. 클라우드 기반 서비스와 달리 계정 생성, API 키, 구독료가 필요 없으며, 필요한 AI 모델을 한 번 다운로드하면 인터넷 연결 없이도 모든 기능을 오프라인에서 사용할 수 있는 것이 가장 큰 특징입니다. 이는 개인 정보 보호와 비용 절감 측면에서 사용자들에게 큰 이점을 제공합니다.
VoiceStudio는 5~15초의 깨끗한 음성 샘플만 있으면 별도의 학습 과정 없이도 목소리를 복제할 수 있습니다. 복제된 목소리로 원하는 텍스트를 읽게 하는 것은 물론, 나이, 억양, 음높이, 말투 등을 설명하여 새로운 목소리를 생성하는 기능도 제공합니다. 또한, 영상의 음성을 텍스트로 변환하고 번역한 뒤, 화자별 목소리를 유지하며 더빙 영상으로 내보내는 전 과정을 한 앱에서 처리할 수 있습니다. EPUB/PDF 파일을 불러와 등장인물마다 다른 목소리를 배정하고 오디오북(.m4b)으로 저장하는 기능, 단축키로 받아쓰기를 수행하고 로컬 대규모 언어모델(LLM)로 문장을 다듬는 기능 등 다양한 고급 음성 처리 기능을 지원합니다. 음성과 배경음 분리, 화자 구분, AudioSeal 워터마크 삽입 및 감지, 일괄 처리 등 전문가 수준의 기능도 포함되어 있습니다. 총 16개의 음성 합성 엔진과 11개의 음성 인식 엔진을 선택할 수 있으며, 646개 언어 목록을 제공하지만 엔진별 지원 언어와 품질은 상이합니다. macOS, Windows, Linux를 지원하며, GPU 없이 CPU만으로도 실행 가능하지만, 원활한 작업을 위해서는 16GB 이상의 RAM과 GPU 사용 시 8GB 이상의 VRAM을 권장합니다.
VoiceStudio의 등장은 클라우드 기반 AI 서비스에 대한 의존도를 낮추고, 개인 사용자와 소규모 크리에이터에게 강력한 음성 처리 도구를 제공한다는 점에서 큰 의미를 가집니다. 특히 민감한 음성 데이터를 외부 서버에 전송하지 않고 로컬에서 처리할 수 있어 보안 및 프라이버시 우려를 해소할 수 있습니다. 또한, 구독료 없이 무료로 사용할 수 있는 오픈소스라는 점은 비용 부담 없이 고품질 음성 콘텐츠를 제작하려는 이들에게 매력적인 대안이 될 것입니다. 이는 음성 콘텐츠 제작의 진입 장벽을 낮추고, 더 많은 개인이 창의적인 오디오 및 비디오 콘텐츠를 생산할 수 있는 기회를 열어줄 것으로 기대됩니다.