최근 '새뮤얼(Samuel)'이라는 흥미로운 AI 음성 모델이 공개되었습니다. 이 모델은 사용자가 말하는 소리를 듣고, 마치 거울처럼 그 소리를 흉내 내는 방식으로 작동합니다. 단순히 소리를 재생하는 것을 넘어, 음성을 생성하는 과정에서 혀와 입의 움직임을 시각적으로 예측하고 재현하는 독특한 접근 방식을 사용합니다.
새뮤얼의 핵심은 '핑크 트롬본(Pink Trombone)'이라는 오픈소스 프로젝트를 기반으로 한다는 점입니다. 닐 타펜(Neil Thapen)이 개발한 핑크 트롬본은 '맨손 음성 합성(bare-handed speech synthesis)'이라고 불릴 만큼, 복잡한 물리 모델을 통해 사람의 발성 기관을 시각화하고 소리를 만들어내는 웹 기반 시뮬레이터입니다. 새뮤얼은 이 핑크 트롬본의 가상 입을 AI로 제어하여 사용자의 음성을 모방하도록 학습했습니다. 개발자 바츨라프 볼헤인(Václav Volhejn)에 따르면, 이 모델은 특히 모음 발음에서 혀의 위치를 상당히 정확하게 예측하며 소리를 재현하지만, 파열음이나 비음 같은 자음에서는 아직 한계가 있다고 합니다.
이러한 시도는 기존의 텍스트-음성 변환(TTS) 기술과는 다른 새로운 가능성을 제시합니다. 새뮤얼 자체는 텍스트를 음성으로 변환하지는 않지만, 기존 TTS 모델에 '새뮤얼 필터'를 추가하는 방식으로 음성 표현의 풍부함과 사실감을 더할 수 있을 것으로 기대됩니다. 이는 단순히 소리를 내는 것을 넘어, 발성 기관의 움직임을 시각적으로 이해하고 재현함으로써 음성 합성 기술의 새로운 지평을 열 수 있는 잠재력을 가지고 있습니다. 또한, 사용자의 오디오를 저장하지 않고 자체 호스팅이 가능하다는 점은 개인 정보 보호 측면에서도 긍정적인 요소입니다.