데저트앤트 랩스(Desert Ant Labs)가 기기에서 직접 음성, 이미지, 텍스트를 처리하는 18개의 빠르고 작은 로컬 AI 모델을 공개하며 온디바이스(On-device) AI 시대를 본격적으로 열었습니다. 이 모델들은 음성 인식, 녹음 음질 개선, 개인정보 가리기 등 특정 반복 작업을 위해 설계되었으며, 서버 왕복이나 API 호출 비용 없이 사용자 기기 내에서 데이터를 유지하며 실행됩니다. 이는 클라우드 기반 대규모 언어모델(LLM) 사용 시 발생하는 비용과 지연 문제를 해결하고, 데이터 주권(data sovereignty)을 강화하는 새로운 접근 방식입니다.
공개된 모델은 안정 버전 12개와 베타 6개로 구성됩니다. 주요 모델로는 아이폰(iPhone)에서 10분 오디오를 2초 만에 전사하는 '보즈(Voz)', 9MB 크기로 5분 녹음을 1초 만에 스튜디오 품질로 개선하는 '클리어(Clear)', 2MB 크기로 세 단어만으로 84개 언어를 식별하는 '텅(Tongue)' 등이 있습니다. 특히 보즈는 위스퍼(Whisper)보다 4.7배 빠른 속도를 자랑하며, 클리어는 돌비(Dolby)의 오디오 개선 기능을, 클립스(Clips)는 클로드 소네트(Claude Sonnet)의 영상 클립 선별 기능을 자체 모델로 대체하며 성능과 효율성을 입증했습니다. 이 모델들은 스위프트(Swift), 코틀린(Kotlin), 자바스크립트(JavaScript) SDK를 통해 앱에 쉽게 통합할 수 있으며, 월간 활성 기기 10만 대까지 무료로 제공되어 개발자들의 진입 장벽을 낮춥니다.
데저트앤트 랩스는 영상 앱 '디테일(Detail)'을 개발하며 겪었던 클라우드 비용 증가와 로컬 모델 부족 문제를 해결하기 위해 직접 이 모델들을 개발했습니다. 이들은 범용 대형 모델이 필요 없는 반복적인 작업, 예를 들어 녹음 정리, 사진 태깅, 텍스트 내 날짜 추출 등에는 소형 특화 모델이 훨씬 효율적이라고 강조합니다. 엔비디아(NVIDIA) 연구진 분석에 따르면 에이전트 시스템에서 대형 모델 호출의 40~70%를 소형 특화 모델로 전환할 수 있을 것으로 추정됩니다. 이는 전 세계적으로 출하되는 수십억 대의 스마트폰, 태블릿, 노트북에 탑재된 강력한 칩의 연산 자원을 활용하여, 데이터센터에 집중된 AI 연산 부담을 분산하고 모든 상호작용에 지능을 부여하려는 목표를 담고 있습니다.
이러한 온디바이스 AI의 확산은 개발자 경험 개선에도 기여할 것으로 보입니다. 상업적으로 사용 가능하고, 기존 대안보다 빠르고 품질이 좋으며, 몇 줄의 코드로 쉽게 통합할 수 있는 모델들이 늘어나면 개발자들은 비용이나 속도 제약 없이 제품에 AI 기능을 자유롭게 추가할 수 있습니다. 데저트앤트 랩스는 앞으로 뇌의 소뇌(cerebellum)처럼 상시 작업을 맡는 작은 두뇌 역할을 하는 100개 모델을 만들고, 나아가 피질(cortex)처럼 어떤 모델을 사용할지 결정하는 계층을 구축하여 로컬 모델을 우선 사용하고 필요시 더 큰 모델이나 클라우드를 활용하는 계층적 AI 시스템을 구상하고 있습니다. 이는 사용자 데이터가 기기를 떠나지 않아 개인정보 보호와 데이터 주권 측면에서도 큰 이점을 제공하며, 유럽에서 온디바이스를 데이터 주권의 기본값으로 삼는다는 철학을 반영합니다.