로컬에서 텍스트 음성 변환(TTS) 모델을 비교하고 평가할 수 있는 오픈소스 벤치마크 'tts-bench'가 공개되어 개발자 커뮤니티의 주목을 받고 있습니다. 이 벤치마크는 총 55종의 로컬 TTS 모델을 대상으로 속도(Speed), 청취 품질(Listen), 객관적 지표(Scores)라는 세 가지 핵심 관점에서 성능을 측정하고 비교할 수 있도록 설계되었습니다. 사용자는 CPU, CUDA, 애플 실리콘(Apple Silicon) 등 다양한 하드웨어 환경에서 각 모델의 특성을 파악할 수 있습니다.
'tts-bench'는 각 평가 항목에 대한 구체적인 측정 기준을 제시합니다. 속도 측면에서는 첫 오디오가 생성되기까지 걸리는 시간인 TTFA(Time To First Audio)와 실시간 대비 음성 생성 속도인 RTF(Real-Time Factor), 그리고 메모리 사용량을 분석합니다. 청취 품질은 모든 모델과 프롬프트에 대해 기본 음성 및 복제 음성을 인라인으로 재생하여 사용자가 직접 귀로 듣고 평가할 수 있게 합니다. 객관적 지표로는 자연스러움(UTMOS), 명료도(WER), 음성 복제 충실도(SIM) 등을 'seed-tts-eval' 방식으로 채점하여 정량적인 데이터를 제공합니다. 특히 55종 중 41종의 모델이 음성 복제 기능을 지원하며, 한국어 지원 모델로는 Supertonic, VoxCPM, OmniVoice 등이 포함되어 있습니다. 데모 사이트를 통해 설치 없이도 모든 모델의 음성을 직접 들어보고 비교할 수 있는 점도 큰 장점입니다.
이번 'tts-bench'의 공개는 로컬 TTS 모델을 활용하려는 개발자와 1인 창업자들에게 매우 중요한 의미를 가집니다. 다양한 오픈소스 TTS 모델이 쏟아져 나오는 상황에서, 특정 프로젝트나 제품에 적합한 모델을 선택하는 것은 쉽지 않은 과제였습니다. 이 벤치마크는 객관적인 성능 지표와 함께 실제 청취 경험을 제공함으로써, 개발자들이 시행착오를 줄이고 최적의 모델을 효율적으로 찾아낼 수 있도록 돕습니다. 특히 한국어 지원 모델에 대한 정보와 평가 가이드라인은 한국 시장에서 TTS 기술을 활용한 서비스 개발에 기여할 것으로 기대됩니다. OmniVoice, Echo-TTS, IndexTTS-2와 같은 모델들이 음색 일치도나 억양 유지 측면에서 우수한 평가를 받았다는 점은 고품질 음성 합성 기술을 필요로 하는 애플리케이션 개발에 중요한 참고 자료가 될 것입니다.