프리즘ML(PrismML)이 퀄컴(Qualcomm)의 스냅드래곤(Snapdragon) 플랫폼으로 구동되는 AI 스마트 안경에 자사의 혁신적인 1비트 대규모 언어모델(LLM)인 '본사이(Bonsai)'를 성공적으로 통합했습니다. 이는 스마트 안경과 같이 컴퓨팅 자원과 전력 소비에 제약이 큰 소형 기기에서도 복잡한 AI 기능을 온디바이스(on-device)로 구현할 수 있는 중요한 진전을 의미합니다. 이제 사용자는 클라우드 연결 없이도 실시간으로 AI의 도움을 받을 수 있게 될 것입니다.
본사이 LLM은 기존의 16비트 또는 8비트 LLM과 달리 단 1비트의 가중치를 사용하여 모델 크기를 극적으로 줄인 것이 특징입니다. 이를 통해 메모리 사용량과 전력 소비를 최소화하면서도 상당한 수준의 추론(inference) 성능을 유지합니다. 퀄컴의 스냅드래곤 플랫폼은 이러한 경량 LLM을 효율적으로 실행할 수 있도록 최적화된 하드웨어 가속 기능을 제공하며, 프리즘ML은 이 조합을 통해 스마트 안경에서 음성 인식, 실시간 번역, 시각 정보 분석 등 다양한 AI 애플리케이션을 구동할 수 있음을 입증했습니다.
이번 기술 통합은 웨어러블 기기, 특히 스마트 안경의 활용성을 한 단계 끌어올릴 잠재력을 가지고 있습니다. 클라우드 기반 AI의 지연 시간과 개인 정보 보호 문제를 해결하고, 네트워크 연결이 불안정한 환경에서도 AI 기능을 사용할 수 있게 합니다. 이는 증강현실(AR) 기반의 작업 지원, 여행 중 실시간 언어 장벽 해소, 시각 장애인을 위한 보조 기술 등 다양한 분야에서 혁신적인 사용자 경험을 창출할 수 있을 것으로 기대됩니다. 온디바이스 AI의 확산은 개인 맞춤형 서비스의 발전과 함께 AI 기술의 접근성을 크게 향상시킬 것입니다.