스위치보드 SDK(Switchboard SDK)가 아이폰(iOS)에서 구동되는 하이브리드 음성 에이전트(Hybrid Voice Agent) 샘플을 선보였습니다. 이 기술은 음성-텍스트 변환(STT), 소형 언어 모델(SLM), 텍스트-음성 변환(TTS) 등 대화의 핵심 요소를 기기 내에서 직접 처리하며, 사용자가 원할 경우 클라우드 기반의 대규모 언어모델(LLM)로 전환하여 더 복잡한 질문에 대응할 수 있도록 설계되었습니다. 이는 네트워크 연결이 불안정하거나 없을 때도 음성 비서 기능을 사용할 수 있게 해주는 중요한 진전입니다.
이 하이브리드 에이전트는 온디바이스(on-device) 환경에서 메타(Meta)의 라마 3.2 1B 인스트럭트(Llama 3.2 1B Instruct) 모델을 활용하며, 음성 인식과 합성은 항상 기기 내에서 이루어집니다. 즉, 네트워크를 통해 전송되는 정보는 '생각'을 담당하는 언어 모델 부분뿐이며, 그마저도 필요할 때만 클라우드로 전환됩니다. 특히 주목할 점은 온디바이스 모델과 클라우드 모델이 동일한 대화 기록(transcript)을 공유하여, 사용자가 대화 도중 모델을 전환하더라도 맥락이 끊기지 않고 자연스럽게 이어질 수 있다는 것입니다. 시연 영상에서는 비행기 모드에서도 작동하다가, 네트워크 연결 후 클라우드 모델로 전환하여 오프라인 대화 내용을 바탕으로 후속 질문에 답하는 모습을 보여주었습니다.
이러한 하이브리드 접근 방식은 음성 비서 기술의 활용성을 크게 확장할 잠재력을 가지고 있습니다. 개인 정보 보호가 중요한 환경이나 네트워크 연결이 제한적인 상황에서도 AI 비서 기능을 안정적으로 제공할 수 있게 됩니다. 또한, 온디바이스 모델은 응답 속도를 향상시키고 클라우드 비용을 절감하는 효과도 기대할 수 있습니다. 사용자 입장에서는 더욱 빠르고 개인화된 경험을 누리면서도, 필요할 때는 클라우드의 강력한 연산 능력을 빌릴 수 있어 AI 음성 비서의 실용성이 한층 높아질 것으로 보입니다.