제니아텍(Geniatech)이 락칩(Rockchip)의 RK1828 NPU(신경망처리장치)와 하일로(Hailo)-10 M.2 AI 가속기를 결합하여 엣지 디바이스에서 대규모 언어모델(LLM)을 직접 추론할 수 있는 솔루션을 선보였습니다. 이 기술은 클라우드 서버 없이도 로컬 환경에서 LLM을 구동할 수 있게 함으로써, 데이터 처리의 효율성을 높이고 보안을 강화하는 중요한 진전을 의미합니다.
이번 솔루션의 핵심은 저전력 고성능을 자랑하는 하일로-10(Hailo-10) AI 가속기입니다. 이 가속기는 M.2 폼팩터로 제공되어 기존 시스템에 쉽게 통합될 수 있으며, 초당 최대 40테라 연산(TOPS)의 성능을 제공합니다. 제니아텍은 이 하드웨어를 자사의 엣지 AI 박스에 통합하여, 사용자들이 로컬 환경에서 LLM을 실행하고 다양한 AI 애플리케이션을 개발할 수 있도록 지원합니다. 이는 특히 실시간 응답이 중요하거나 민감한 데이터를 다루는 산업 분야에서 큰 이점을 제공할 것으로 기대됩니다.
이러한 로컬 LLM 추론 능력은 클라우드 기반 AI 서비스의 한계를 극복하고 새로운 비즈니스 기회를 창출할 수 있습니다. 클라우드 비용 절감은 물론, 인터넷 연결 없이도 AI 기능을 사용할 수 있게 되어 접근성이 향상됩니다. 또한, 데이터가 디바이스 내에서 처리되므로 개인 정보 보호 및 보안 측면에서도 유리합니다. 앞으로 스마트 공장, 자율주행차, 스마트 시티 등 다양한 엣지 컴퓨팅 환경에서 AI의 활용 범위가 더욱 넓어질 것으로 예상됩니다.