최근 라즈베리 파이(Raspberry Pi)와 같은 저전력 소형 컴퓨터에서 인터넷 연결 없이도 대규모 언어모델(LLM)을 구동하는 음성 비서 프로젝트가 등장했습니다. 이는 클라우드 기반 AI 서비스와 달리 모든 처리 과정을 기기 내에서 오프라인으로 수행하며, 사용자 데이터의 외부 전송 없이 개인정보를 보호할 수 있다는 점에서 주목받고 있습니다.
해당 프로젝트는 라즈베리 파이 5(Raspberry Pi 5)와 8GB RAM을 기반으로 하며, 오픈소스 LLM인 라마 3(Llama 3)의 8B 모델을 양자화(quantization)하여 사용합니다. 음성 인식(STT)에는 위스퍼(Whisper)를, 텍스트 음성 변환(TTS)에는 코키(Coqui)를 활용해 완전한 오프라인 음성 비서 시스템을 구축했습니다. 이 시스템은 약 30W의 전력만을 소비하며, 클라우드 API 사용료 없이 저렴한 비용으로 AI 기능을 이용할 수 있게 합니다.
이러한 오프라인 LLM 구동 기술은 엣지 AI(Edge AI) 분야에 중요한 의미를 가집니다. 인터넷 연결이 불안정한 환경이나 고도의 보안이 요구되는 산업 현장에서 유용하게 활용될 수 있으며, 개인 사용자에게는 클라우드 서비스 구독료 부담 없이 AI 비서를 사용할 수 있는 대안을 제공합니다. 또한, 개발자들에게는 저비용 하드웨어에서 AI 애플리케이션을 개발하고 배포할 수 있는 새로운 기회를 열어줄 것입니다.