최근 한 개발자가 안드로이드 스마트폰에서 대규모 언어모델(LLM)을 클라우드 연결 없이 직접 구동하는 데 성공하며, 온디바이스 AI(On-device AI)의 실현 가능성을 입증했습니다. 이는 기존의 클라우드 기반 AI 서비스 구독료를 절약하고, 인터넷 연결 없이도 AI 기능을 활용할 수 있는 새로운 가능성을 열었다는 점에서 주목받고 있습니다.
해당 개발자는 퀄컴 스냅드래곤 8 2세대 프로세서가 탑재된 안드로이드폰에서 70억 개 매개변수(7B parameter) 규모의 라마(Llama) 모델을 성공적으로 실행했습니다. 이 과정에서 퀄컴의 AI 개발 키트(AI Development Kit)와 구글의 AI 코어(AI Core)를 활용해 모델을 최적화했으며, 이를 통해 초당 약 2.5개의 토큰(token)을 생성하는 성능을 보였습니다. 이는 실시간 대화에는 다소 느리지만, 오프라인 환경에서 기본적인 텍스트 생성이나 요약 등의 작업을 수행하기에는 충분한 수준입니다.
이번 시도는 개인 정보 보호와 비용 효율성 측면에서 중요한 의미를 가집니다. 사용자의 데이터가 클라우드로 전송되지 않아 보안 우려를 줄일 수 있으며, 월별 구독료 부담 없이 AI 기능을 이용할 수 있게 됩니다. 또한, 인터넷 연결이 어려운 환경에서도 AI를 활용할 수 있어 모바일 기기의 활용 범위를 넓힐 것으로 기대됩니다. 스마트폰 하드웨어의 발전과 모델 최적화 기술이 결합되면, 앞으로 더욱 강력하고 실용적인 온디바이스 AI 경험이 가능해질 것입니다.