구글 딥마인드(Google DeepMind)가 그룹 대화에서 실시간 캡션(자막)의 고질적인 문제인 화자 혼동을 해결하는 오픈소스 기술 '스피치콤파스(SpeechCompass)'를 공개했습니다. 이 기술은 여러 명이 대화할 때 누가 말하는지 구분하기 어렵고, 모든 발언이 하나의 텍스트 덩어리로 표시되는 기존 캡션의 한계를 극복하기 위해 개발되었습니다. 스피치콤파스는 다중 마이크를 활용해 화자의 발화 방향을 실시간으로 파악하고, 이를 캡션에 시각적으로 표시하여 대화의 맥락을 훨씬 쉽게 이해할 수 있도록 돕습니다.
스피치콤파스는 기존의 머신러닝(ML) 기반 접근 방식과 달리, 저전력 임베디드 마이크로컨트롤러(microcontroller)에서 실행되는 고전적인 디지털 신호 처리(DSP) 알고리즘(GCC-PHAT + 커널 밀도 추정)을 사용합니다. 이를 통해 비디오나 복잡한 스피커 임베딩 없이도 낮은 지연 시간과 음성 데이터 보존 없이 온디바이스(on-device)로 작동합니다. 안드로이드(Android) 앱은 각 화자에게 고유한 색상을 부여하고, 발화 방향을 가리키는 화살표나 레이더 미니맵, 화면 가장자리 표시 등 다양한 시각화 옵션을 제공합니다. 특히 4개의 마이크를 사용하는 경우 3개 마이크 대비 화자 분리 오류율(DER)을 23~35% 개선하는 성능을 보였습니다. 263명의 캡션 사용자 설문조사에서 화자 구분이 가장 큰 미충족 수요로 나타났으며, 8명의 사용자 프로토타입 연구에서는 방향 안내가 그룹 대화에 매우 유용하다는 평가를 받았습니다.
이 기술은 특히 청각 장애인이나 난청인 등 캡션에 의존하는 사용자들에게 혁신적인 경험을 제공할 것입니다. 기존 캡션이 단순히 텍스트를 나열하는 수준이었다면, 스피치콤파스는 대화의 공간적 맥락을 추가하여 누가, 어디서 말하는지를 직관적으로 파악하게 함으로써 대화 참여도를 높이고 오해를 줄일 수 있습니다. 또한, 별도의 고성능 하드웨어 없이도 2개 이상의 내장 마이크를 가진 스마트폰에서 180도 방향 인식이 가능하여 접근성이 높다는 점도 중요합니다. 이는 회의록 작성, 교육 환경, 다자간 커뮤니케이션 등 다양한 분야에서 캡션 활용도를 크게 확장시킬 잠재력을 가지고 있습니다.