칵투스(Cactus)가 스마트폰, 웨어러블, 스마트홈 기기, 로봇 등 저사양 엣지(edge) 환경을 위한 초경량 에이전트 대규모 언어모델(LLM)인 '니들 2(Needle 2)'를 공개했습니다. 단 14MB의 바이너리 크기와 최대 28MB의 RAM 사용량으로 전체 세션을 실행할 수 있어, 고가의 GPU나 NPU 없이도 200달러 미만의 저가형 하드웨어에서 인공지능(AI) 기능을 구현할 수 있게 되었습니다.
니들 2는 45M(4천5백만) 파라미터(parameter) 모델로, 특히 도구 호출(tool calling), 기기 제어, 구조화된 정보 추출(structured extraction)에 특화되어 있습니다. 이는 복잡한 세계 지식이나 개방형 문장 생성 대신, 자연어 명령을 특정 함수와 타입 지정 인자로 연결하는 문제에 집중함으로써 수십억 파라미터 모델 없이도 효율적인 작동을 가능하게 합니다. 라즈베리 파이 5(Raspberry Pi 5)에서 초당 500토큰 이상, 메타 퀘스트 3S(Meta Quest 3S)나 애플 비전 프로(Apple Vision Pro)에서는 초당 400~1,500토큰의 빠른 디코딩(decoding) 속도를 보여주며, 심지어 ESP32-S3급 마이크로컨트롤러에서도 실행 가능합니다. 칵투스 콴츠(Cactus Quants)의 2비트 양자화(quantization) 기술과 전용 추론(inference) 엔진을 통해 모델, 토크나이저, 문법 컴파일러가 단일 C++ 바이너리에 통합되어 최적의 성능을 발휘합니다.
이 모델은 연결된 IoT 기기가 210억 대를 넘어서고 저가형 스마트폰이 주류를 이루는 신흥 시장에서 큰 잠재력을 가집니다. 니들 2는 일상적인 기기 제어를 로컬에서 처리함으로써 개인 정보 보호, 즉각적인 반응, 그리고 무료 사용이라는 이점을 제공합니다. 또한, 응답에 학습된 신뢰도 점수를 포함하여 신뢰도가 낮을 경우 재질문하거나 클라우드로 작업을 넘기는 엣지-클라우드 협업 모델을 지원합니다. 이는 오프라인 환경에서도 핵심 기능을 안정적으로 제공하며, 필요한 경우에만 클라우드 자원을 활용하여 효율성을 높일 수 있음을 의미합니다. 니들 2의 등장은 온디바이스(on-device) AI가 더 넓은 범위의 기기와 사용자에게 보급될 수 있는 중요한 발판을 마련할 것으로 기대됩니다.