구글이 새로운 음성-텍스트 변환 모델인 ‘제미니 3.5 트랜스크라이브(Gemini 3.5 Transcribe)’를 공개하며 실시간 음성 인식 기술의 새로운 지평을 열었습니다. 이 모델은 기존 음성 인식 모델들이 어려움을 겪었던 배경 소음, 복잡한 전문 용어, 그리고 말더듬이나 불필요한 단어(filler words)까지 효과적으로 처리하여, 원시 오디오를 정확하고 깔끔하게 다듬어진 텍스트로 변환하는 것이 특징입니다. 이미 제미니 앱과 안드로이드(Android) 기기에서 램블러(Rambler)와 같은 새로운 음성 기능에 활용되어 사용자들에게 혜택을 제공하고 있습니다.
제미니 3.5 트랜스크라이브는 개발자들이 음성 에이전트, 실시간 자막 도구, 통화 후 분석 파이프라인 등 다양한 음성 기반 애플리케이션을 구축할 수 있도록 제미니 API(Gemini API)를 통해 제공됩니다. 이 모델은 두 가지 API로 나뉘는데, '라이브 API(Live API)'는 서브-초(sub-second) 지연 시간으로 양방향 실시간 스트리밍을 지원하며, '인터랙션 API(Interactions API)'는 녹음된 오디오를 화자 구분 및 단어별 타임스탬프와 함께 처리합니다. 특히, 자체 수정(예: “화요일—아니, 수요일에 만나자”), 불필요한 단어 제거, 자동 서식 지정 등의 스마트 전사(smart transcription) 기능을 제공하며, 85개 이상의 언어를 자동 감지하고 전사할 수 있습니다. 인공 분석(Artificial Analysis) 측정 결과, 스트리밍의 경우 평균 단어 오류율(WER) 4.0%, 비스트리밍의 경우 2.6%를 달성하여 이전 모델인 처프 3(Chirp 3) 대비 70% 향상된 최종 전사 시간을 보여줍니다.
이러한 발전은 음성 인터페이스의 활용 범위를 크게 확장할 잠재력을 가집니다. 단순히 음성을 텍스트로 바꾸는 것을 넘어, 사용자의 의도를 더 정확히 파악하고 맞춤형 어휘를 인식하여 음성만으로 복잡한 작업을 실행할 수 있게 합니다. 예를 들어, 제미니 macOS 앱에서는 음성 명령으로 다른 제미니 모델을 호출하여 파일 요약, 텍스트 재활용, 이미지 생성 등을 수행할 수 있습니다. 또한, Gboard의 램블러 기능을 통해 음성으로 생각을 정리하고, 구글 안티그래비티(Antigravity)에서는 화면 맥락과 채팅 기록을 활용해 전사 정확도를 높이는 등 구글의 다양한 제품에 통합되어 더욱 자연스럽고 직관적인 사용자 경험을 제공할 것입니다. 궁극적으로는 크롬(Chrome) 웹 필드에서도 음성 입력이 가능해져, 웹 환경에서의 상호작용 방식에도 큰 변화를 가져올 것으로 기대됩니다.