유럽의 새로운 인공지능 연구소인 데저트 앤트 랩스(Desert Ant Labs)가 온디바이스(On-device) AI 시대를 열 핵심 기술들을 공개했습니다. 이들은 클라우드 기반 대규모 언어모델(LLM)의 한계를 극복하고, 스마트폰이나 노트북 같은 개인 기기에서 직접 구동되는 작고 전문화된 AI 모델들을 선보이며, 속도, 비용, 그리고 데이터 프라이버시 측면에서 혁신적인 대안을 제시하고 있습니다.
데저트 앤트 랩스는 오디오, 비전, 텍스트 분야에서 총 18개의 모델(12개 안정화, 6개 베타)을 출시했습니다. 예를 들어, 'Voz' 모델은 아이폰에서 10분 분량의 오디오를 2초 만에 텍스트로 변환하며, 이는 오픈AI의 위스퍼(Whisper)보다 4.7배 빠릅니다. 'Clear'는 9MB에 불과한 모델로 5분 분량의 녹음 파일을 1초 만에 스튜디오 품질로 개선하며, 'Redact'는 12MB 모델로 27개 언어에서 이름, 주소, 카드 번호 등 개인 식별 정보(PII)를 실시간으로 마스킹하여 서버에 전송되기 전에 보호합니다. 이 모델들은 스위프트(Swift), 코틀린(Kotlin), 자바스크립트(JavaScript)용 SDK를 통해 접근할 수 있으며, 월 10만 대의 활성 기기까지는 무료로 제공됩니다.
이러한 온디바이스 AI 모델의 등장은 여러 중요한 의미를 가집니다. 첫째, 클라우드 API 호출에 따른 토큰 비용과 추론(inference) 속도 제약에서 벗어나, 개발자들이 모든 제품 상호작용에 AI를 통합할 수 있게 합니다. 둘째, 사용자 데이터가 기기를 벗어나지 않으므로 개인 정보 보호 및 보안 측면에서 강력한 이점을 제공합니다. 이는 특히 데이터 주권(data sovereignty)을 강조하는 유럽에서 중요한 가치로 부각됩니다. 마지막으로, 전 세계적으로 보급된 수십억 대의 스마트폰, 태블릿, 노트북에 내장된 강력한 칩셋을 활용하여, 이미 지불된 컴퓨팅 자원을 효율적으로 사용함으로써 AI 인프라 비용을 크게 절감할 수 있는 잠재력을 보여줍니다. 이는 대규모 데이터센터 구축에 막대한 비용을 들이는 현재 AI 산업의 방향에 새로운 질문을 던집니다.