한 개발자가 안드로이드 스마트폰에 로컬 대규모 언어모델(LLM)을 직접 설치하여, 기존의 온라인 검색 서비스인 퍼플렉시티(Perplexity)를 대체하고 오프라인 환경에서도 즉각적인 검색 답변을 얻는 데 성공했습니다. 이는 인터넷 연결 없이도 AI가 정보를 처리하고 사용자 질문에 응답할 수 있음을 실증하며, 모바일 기기에서 AI 활용의 새로운 가능성을 제시합니다.
해당 개발자는 퀄컴 스냅드래곤 8 Gen 3 프로세서를 탑재한 안드로이드 기기에서 구글의 젬마(Gemma) 모델을 구동했습니다. 그는 텍스트 파일을 미리 학습 데이터로 준비하고, 이를 로컬 LLM이 참조하여 질문에 답변하도록 구현했습니다. 이 방식은 클라우드 기반 AI 서비스와 달리 데이터 전송 지연이나 개인정보 유출 우려 없이 빠르고 안전하게 정보를 얻을 수 있다는 장점이 있습니다. 특히, 인터넷 연결이 불안정하거나 불가능한 환경에서도 유용하게 활용될 수 있습니다.
이번 시연은 모바일 기기에서의 온디바이스 AI(On-device AI) 발전 가능성을 명확히 보여줍니다. 인터넷 연결 없이도 AI가 작동함으로써 사용자 경험이 향상될 뿐만 아니라, 민감한 정보를 외부 서버로 전송할 필요가 없어 개인 정보 보호 측면에서도 큰 이점을 가집니다. 이는 향후 스마트폰, 태블릿 등 개인 모바일 기기에서 AI가 더욱 보편화되고 강력한 기능을 제공하게 될 것임을 시사하며, 개발자들에게는 새로운 애플리케이션 및 서비스 개발 기회를 제공할 것으로 보입니다.