칵투스(Cactus)가 온디바이스(on-device) 인공지능(AI) 플랫폼의 최신 버전인 '칵투스 v2'를 출시하며, 온디바이스 AI의 오랜 숙제였던 성능 격차를 해소할 새로운 접근 방식을 제시했습니다. 이 플랫폼은 모델의 추론(inference) 자신감에 따라 작업을 온디바이스에서 처리하거나 클라우드로 넘기는 지능형 라우팅(routing) 기능을 핵심으로 합니다. 이를 통해 리소스가 제한적인 기기에서도 안정적이고 신뢰할 수 있는 AI 경험을 제공하는 것이 목표입니다.
칵투스 v2는 어떤 PyTorch 모델이든 온디바이스용으로 변환할 수 있는 컨버터와 함께, 4비트 무손실 양자화(quantization) 기술을 통해 모델 크기를 줄이면서도 정확도 손실을 없앴습니다. 또한, 애플 메탈(Apple Metal)을 시작으로 호환되는 기기에서는 GPU 가속을 지원하며, iOS, 안드로이드, Mac, 라즈베리 파이 등 모든 Arm 기반 기기에서 최소한의 RAM 사용량으로 구동됩니다. 실제로 Gemma 4 E2B급 모델이 M5 Max에서 초당 169토큰(tok/sec)을 처리하며, 2.7GB의 디스크 공간과 1.3GB의 RAM만을 사용하는 뛰어난 효율성을 보여줍니다.
칵투스는 지난 18개월간 데이터센터 중심의 추론 엔진과 달리, 소비자 하드웨어의 물리적 제약을 극복하기 위해 리소스 제약이 있는 기기들을 위한 런타임을 처음부터 개발했습니다. 기존 온디바이스 모델이 90%의 워크로드를 처리할 수 있었지만, 나머지 10%의 불확실성 때문에 상용화에 어려움이 있었습니다. 칵투스 v2는 모델 내부에 자신감 신호를 읽는 프로브(probe)를 후학습(post-train)하여, 모델 스스로 로컬 처리가 가능한 작업과 클라우드 지원이 필요한 작업을 판단하게 함으로써 이 문제를 해결했습니다. 이는 특히 여러 차례 대화가 오가는 에이전트(agentic) 작업에서 모델이 상황에 맞춰 유연하게 대응할 수 있도록 하는 중요한 발전입니다. 칵투스 v2는 개인 사용자와 소규모 기업에는 무료로 제공되며, 상업적 사용을 위한 라이선스는 별도로 제공됩니다.