KaozKit이 마이크로컨트롤러(microcontroller)와 같은 저사양 환경을 위해 설계된 XS 엔진 위에서 구동되는 자바스크립트(JavaScript) 기반의 대규모 언어모델(LLM) 에이전트 프레임워크를 공개했습니다. 이 프로젝트는 스위프트(Swift) 앱 내에서 LLM 에이전트를 효율적으로 실행할 수 있도록 지원하며, 특히 임베디드 시스템에서의 AI 에이전트 활용 가능성을 제시합니다.
KaozKit의 핵심은 자바스크립트 코드로 작성된 경량 에이전트 모듈이 언어 모델과 상호작용하고, 도구를 호출하며, 메모리를 읽고 쓰는 기능을 수행한다는 점입니다. 특히 XS 엔진의 힙 스냅샷(Heap snapshot) 기능을 활용하여, 에이전트의 전체 자바스크립트 힙(heap) 상태를 디스크에 저장하고 앱 재시작 시 복원할 수 있어, 에이전트가 상태를 잃지 않고 지속적으로 동작할 수 있습니다. 이는 기존 자바스크립트코어(JavaScriptCore, JSC)와 차별화되는 지점으로, JSC가 스크립트 평가에 적합한 반면 XS는 상태를 유지하고 재시작 가능한 에이전트에 특화되어 있습니다. 또한, XS 엔진은 메모리 점유율이 매우 낮아 여러 에이전트를 동시에 구동하거나 서브 에이전트를 생성하는 데 드는 비용이 적습니다.
이러한 KaozKit의 등장은 임베디드 시스템 및 엣지 디바이스에서 온디바이스(on-device) AI 에이전트의 활용 가능성을 크게 확장할 수 있다는 점에서 중요합니다. 적은 메모리와 제한된 컴퓨팅 자원에서도 LLM 기반의 지능형 기능을 구현할 수 있게 되어, 스마트 가전, 웨어러블 기기, 산업용 IoT 장비 등 다양한 분야에서 새로운 사용자 경험과 자동화된 서비스를 제공할 잠재력을 가집니다. 개발자들은 스위프트 앱 내에서 클라우드 기반 LLM(예: 앤트로픽 클로드) 또는 애플 인텔리전스(Apple Intelligence)와 같은 온디바이스 모델을 활용하여, 상태를 기억하고 도구를 사용하는 자율 에이전트를 쉽게 구축할 수 있을 것입니다.