최근 칵투스 컴퓨트(Cactus Compute)가 스마트홈, 모바일 기기 등 작은 장치에서 자연어 명령을 처리하는 초소형 AI 모델 'Needle 3'를 발표했습니다. 이 모델은 '침실 조명을 어둡게 하고 문을 잠가'와 같은 사용자 요청을 앱이 실행할 수 있는 함수와 인자로 변환하며, 8~29MB의 매우 작은 바이너리 크기로 기기 내(on-device)에서 오프라인 자동화를 가능하게 합니다. 범용 대화보다는 특정 도구 호출과 정보 추출에 집중하여 제한된 연산 자원으로도 효율적인 성능을 발휘하는 것이 특징입니다.
Needle 3는 'Simple Attention Network'를 기반으로 하며, 2개 층부터 20개 층까지 필요한 크기를 선택하여 배포할 수 있는 'Intelligence laddering' 방식을 채택했습니다. 이를 통해 제품의 성능과 작업 난이도에 맞춰 모델 크기와 연산량을 조절할 수 있습니다. 자체 측정 결과, 라즈베리 파이 5(Raspberry Pi 5)에서 초당 400~4,000토큰(token)을 생성하며, 특히 'DroidCall' 도구 호출 평가에서는 미세조정(fine-tuning)된 4개 층 모델이 딥시크 V4 플래시(DeepSeek V4 Flash)보다 앞서는 성능을 보였습니다. 이는 특정 작업에 특화될 경우, 훨씬 작은 모델로도 대규모 모델에 필적하는 효율성을 달성할 수 있음을 시사합니다. 또한, 청구서나 알림에서 필요한 항목을 JSON 형태로 추출하거나 텍스트 임베딩(text embedding)을 통해 기기 내 검색 및 매칭을 처리하는 등 다양한 활용이 가능합니다.
Needle 3의 등장은 클라우드 의존도를 줄이고 개인 정보 보호를 강화하며, 네트워크 연결이 불안정한 환경에서도 안정적인 서비스를 제공할 수 있다는 점에서 중요한 의미를 가집니다. 스마트폰, 웨어러블 기기, 로봇, 스마트홈 기기 등 다양한 엣지 디바이스(edge device)에서 사용자 경험을 혁신할 잠재력을 가지고 있습니다. 개발자는 파이썬(Python) API를 통해 쉽게 도구를 등록하고 미세조정할 수 있으며, 모델의 신뢰도(confidence) 점수를 활용하여 실행 여부를 결정하거나 사용자에게 확인하는 등 유연한 시스템 설계가 가능합니다. 이는 인공지능이 점차 우리 일상 속 다양한 기기에 내장되어 더욱 개인화되고 즉각적인 서비스를 제공하는 미래를 앞당길 것으로 기대됩니다.