구글의 멀티모달 임베딩 모델인 임베딩 젬마 2(EmbeddingGemma 2)를 활용한 새로운 음성 전사(Speech-to-Text) 기술 '임베딩 젬마 트랜스크라이브(Embedding Gemma Transcribe)'가 맥북 에어(MacBook Air)에서 1시간 분량의 오디오를 약 13초 만에 텍스트로 변환하는 놀라운 성능을 시연했습니다. 이는 실시간 대비 288배 빠른 속도로, 기존 온디바이스(on-device) 음성 인식 솔루션들을 압도하는 수준입니다.
이 기술의 핵심은 임베딩 젬마 2가 텍스트, 이미지, 오디오 등 다양한 형태의 데이터를 하나의 공유된 벡터 공간에 배치한다는 점입니다. 개발팀은 기존 오디오 인코더를 그대로 사용하고, 짧은 오디오 구간을 이 공유 공간 내의 텍스트 벡터와 매칭시키는 작은 '판독기(reader)'만 학습시켰습니다. 이 판독기는 약 22만 9천 개의 영어 단어 중 가장 가까운 단어를 선택하며, 별도의 초소형 모델이 문장 부호와 대문자를 추가합니다. 이처럼 최소한의 학습만으로도 M3 맥북 에어(8GB RAM)에서 IBM 그래나이트 스피치(IBM Granite Speech 5.0 TurboCTC)보다 약 2배 빠른 속도를 기록했습니다. 현재 단어 오류율(WER)은 약 5%로, 선도적인 클라우드 기반 모델의 2~3%보다는 높지만, 개발팀은 판독기 학습 개선을 통해 이 격차를 줄일 수 있다고 보고 있습니다.
이 기술의 가장 큰 장점 중 하나는 모든 처리가 맥(Mac)의 뉴럴 엔진(Neural Engine)에서 온디바이스로 이루어진다는 점입니다. 이는 오디오 데이터가 기기 밖으로 전송되지 않아 개인 정보 보호 및 보안 측면에서 매우 유리합니다. 또한, 맥 앱으로 무료 배포되어 오디오 파일을 드래그 앤 드롭으로 전사하거나, 특정 키를 눌러 모든 앱에 음성으로 입력하는 받아쓰기(dictation) 기능으로도 활용할 수 있습니다. 개발팀은 이 프로젝트가 임베딩 젬마 2의 멀티모달 특성을 탐색하는 과정에서 시작되었으며, 속도는 부수적인 이점이었다고 밝히며, 조만간 전체 코드를 오픈 소스로 공개하고 다국어 지원 및 음성 합성(TTS) 버전도 개발할 계획이라고 언급했습니다.
이러한 온디바이스 초고속 음성 전사 기술의 등장은 다양한 분야에 큰 영향을 미칠 것으로 예상됩니다. 특히 개인 정보 보호가 중요한 의료, 법률, 금융 분야에서 민감한 정보를 외부 서버로 전송하지 않고도 빠르고 정확하게 음성을 텍스트로 변환할 수 있게 됩니다. 또한, 콘텐츠 크리에이터나 연구자들은 긴 오디오/비디오 파일을 훨씬 효율적으로 처리하여 작업 시간을 단축할 수 있습니다. 현재는 영어만 지원하지만, 다국어 지원이 이루어진다면 전 세계 사용자들이 이 기술의 혜택을 누릴 수 있을 것입니다. 이는 클라우드 기반 AI 서비스에 대한 의존도를 줄이고, 사용자 기기 자체의 연산 능력을 극대화하는 온디바이스 AI 시대의 중요한 진전을 보여주는 사례입니다.