최근 텍스트-음성 변환(TTS) AI 기술은 놀라운 발전을 이루었지만, 여전히 해결하지 못하는 고질적인 문제가 있었습니다. 바로 고유명사, 외래어, 전문 용어 등 텍스트만으로는 발음을 유추하기 어려운 단어들을 잘못 발음하는 경우입니다. 이러한 문제는 AI 음성의 신뢰도를 떨어뜨리고 사용자 경험을 저해하는 주요 원인이었습니다.
이 문제를 해결하기 위해 'GRAFT'(Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech)라는 새로운 기술이 아카이브(arXiv)를 통해 공개되었습니다. GRAFT는 특정 단어의 짧은 음성 샘플을 입력받아 해당 단어의 정확한 발음을 추출하고, 이를 텍스트-음성 변환 모델에 주입하여 전체 문장 내에서 자연스럽게 발음되도록 합니다. 이 과정에서 음성 변환(voice conversion) 기술을 활용해 참조 음성(hint speaker)의 목소리가 아닌, 목표 음성(target speaker)의 목소리로 발음이 출력되도록 분리하는 것이 핵심입니다. 즉, 어떤 목소리로 발음 샘플을 제공하든 최종 출력은 사용자가 원하는 AI 목소리로 나온다는 의미입니다.
GRAFT는 블라인드 청취 평가에서 기존 시스템들을 압도하며 어려운 단어의 발음을 원본 녹음에 가장 가깝게 구현했습니다. 또한, 5개 언어 벤치마크 테스트에서 목표 단어의 음소 오류율(phoneme error rate)을 22~39% 감소시키는 뛰어난 성능을 보였습니다. 이는 기존의 음소 기반 또는 텍스트 기반 제로샷(zero-shot) TTS 시스템보다 훨씬 정확한 발음을 제공하면서도, 화자 유사성(speaker similarity)과 자연스러움(naturalness)은 그대로 유지한다는 점에서 큰 의미가 있습니다. 이 기술은 오디오북, 뉴스 리딩, 외국어 학습 콘텐츠 등 정확한 발음이 중요한 다양한 분야에서 AI 음성의 활용도를 더욱 높일 것으로 기대됩니다.