칵투스(Cactus)가 14MB 크기의 초경량 에이전트형 대규모 언어모델(LLM)인 '니들 2(Needle 2)'를 선보이며 온디바이스 AI 시장에 새로운 바람을 불어넣고 있습니다. 이 모델은 45M(4천5백만) 파라미터에 불과하며, 단 28MB의 램(RAM)만으로 전체 세션을 구동할 수 있어 저사양 기기에서도 강력한 성능을 발휘합니다. 특히 라즈베리 파이 5(Raspberry Pi 5)에서 초당 500토큰, 메타 퀘스트 3S(Meta Quest 3S)나 애플 비전 프로(Apple Vision Pro) 같은 VR 기기에서는 초당 400~1,500토큰의 빠른 처리 속도를 자랑합니다.
니들 2는 도구 호출(tool calling), 기기 제어(device use), 구조화된 정보 추출(structured extraction)에 특화되어 있습니다. 이는 복잡한 세계 지식이나 긴 문장 생성이 아닌, 특정 기능을 매핑하고 값을 추출하는 문제에 집중하기 때문입니다. 칵투스는 '심플 어텐션 네트워크(Simple Attention Network)' 기술과 독자적인 2비트 양자화(quantization) 기술인 '칵투스 콴츠(Cactus Quants)'를 적용하여 모델 크기를 획기적으로 줄이면서도 성능 저하를 최소화했습니다. 이 모델은 펑션젬마 270M(FunctionGemma 270M)이나 애플 FM(Apple FM)과 같은 다른 소형 모델들과 비교했을 때, 5배에서 70배 작은 크기에도 불구하고 동등하거나 더 나은 벤치마크 결과를 보여줍니다.
니들 2의 출시는 200달러 미만의 저가형 스마트폰, 웨어러블, 스마트홈 기기, 소형 로봇 등 대다수의 엣지(Edge) 기기에서 온디바이스 AI를 구현할 수 있는 중요한 전환점이 될 것입니다. 클라우드 기반 AI의 단점인 지연 시간, 개인 정보 보호 문제, 인터넷 연결 의존성 등을 해결하며, 사용자에게 더 빠르고 안전하며 안정적인 경험을 제공할 수 있습니다. 예를 들어, 페블(Pebble)의 인덱스 01(Index 01) 앱은 니들 2를 사용하여 네트워크 연결 없이 음성 명령을 로컬에서 처리하며, 이는 온디바이스 AI의 실질적인 적용 사례를 보여줍니다. 개발자들은 니들 2를 자신의 맥(Mac)이나 PC에서 몇 시간 안에 미세조정(fine-tuning)하여 특정 제품의 도구 생태계에 맞춤화할 수 있어, 다양한 산업 분야에서 혁신적인 AI 제품을 만들 기회가 열릴 것으로 기대됩니다.