최근 노에마(Noema) 앱이 구글의 대규모 언어모델(LLM)인 젬마 26B(Gemma 26B)를 아이폰 17 프로에서 성공적으로 실행하며 온디바이스 AI(On-device AI) 분야에 새로운 가능성을 제시했습니다. 이는 기기의 물리적 메모리(RAM) 용량을 초과하는 대규모 모델을 모바일 기기에서 직접 구동할 수 있게 하는 '모델 페이징(model paging)'이라는 혁신적인 기술 덕분입니다.
노에마가 개발한 모델 페이징 시스템인 '노에마 오버핏(Noema Overfit)'은 모델의 비전문가 가중치(non-expert weights)는 메모리에 상주시키고, 필요에 따라 라우팅되는 전문가 가중치(routed expert weights)만 저장 공간에서 읽어오는 방식으로 작동합니다. 이로 인해 초기 토큰 생성 시간과 전반적인 생성 속도는 다소 느려지지만, 699토큰의 초기 프롬프트 처리 속도가 초당 34.4토큰을 기록하는 등 실제 사용 가능한 수준의 성능을 보여주었습니다. 노에마는 아이폰, 아이패드, 맥, 비전 프로 등 애플 기기에서 GGUF, MLX, Core ML 등 다양한 모델 형식을 지원하며, 사용자의 파일과 연동하여 로컬에서 데이터를 검색하고 활용하는 기능을 제공합니다.
이러한 기술적 진보는 사용자가 클라우드 의존 없이 개인 기기에서 강력한 AI 모델을 직접 실행할 수 있게 함으로써, 개인 정보 보호와 보안을 강화하는 동시에 새로운 사용자 경험을 창출할 수 있다는 점에서 큰 의미가 있습니다. 특히 민감한 데이터를 다루는 전문가나 개인 정보 유출에 대한 우려가 큰 사용자들에게 매력적인 대안이 될 수 있습니다. 구독료나 클라우드 종속성 없이 로컬에서 모든 AI 작업을 처리할 수 있는 노에마의 접근 방식은 향후 온디바이스 AI 시장의 중요한 방향성을 제시할 것으로 보입니다.