프리즘ML(PrismML)이 아이폰(iPhone)과 같은 모바일 기기에서 270억 개 매개변수(27B)급 대규모 언어모델(LLM)을 구동할 수 있는 '본사이 27B(Bonsai 27B)'를 발표했습니다. 기존 27B 모델은 4비트 양자화(quantization)를 해도 18GB에 달해 휴대폰에 배포하기 어려웠지만, 프리즘ML은 독자적인 저비트(low-bit) 압축 기술을 통해 모델 크기를 3.9GB(1비트 모델) 또는 5.9GB(터너리 모델)로 대폭 줄였습니다. 이는 아이폰의 제한된 메모리 환경에서도 고성능 AI를 로컬로 실행할 수 있게 하는 중요한 진전입니다.
본사이 27B는 Qwen3.6 27B를 기반으로 하며, 추론(inference), 도구 호출(tool calling), 비전(vision), 컴퓨터 사용 에이전트 루프(computer use agent loop) 등 다양한 기능을 지원합니다. 특히 1비트 본사이 27B는 가중치당 1.125비트의 효율적인 표현으로 3.9GB 크기를 달성해 아이폰 17 프로(iPhone 17 Pro)의 메모리 예산 안에 들어갑니다. 벤치마크 테스트에서 터너리(Ternary) 모델은 완전 정밀도(full precision) 모델 성능의 95%를, 1비트 모델은 90%를 유지하며, 수학, 코딩, 에이전트/도구 호출, 지시 이행, 지식, 비전 등 다양한 영역에서 뛰어난 성능을 보였습니다. 또한 엔비디아 지포스 RTX 5090(NVIDIA GeForce RTX 5090)에서 최대 163토큰/초, M5 맥스(M5 Max)에서 최대 87토큰/초의 빠른 생성 속도를 자랑하며, 최대 262K 토큰의 긴 문맥(context)도 처리할 수 있습니다.
이러한 온디바이스(on-device) AI의 발전은 여러 면에서 중요한 의미를 가집니다. 첫째, 반복적인 에이전트(agent) 작업의 클라우드 API 비용과 데이터 전송 부담을 없애 비용 효율성을 크게 높일 수 있습니다. 둘째, 민감한 사용자 데이터가 기기를 떠나지 않아 개인 정보 보호를 강화할 수 있습니다. 셋째, 오프라인 환경에서도 AI 비서나 복잡한 작업을 처리하는 것이 가능해집니다. 이는 AI 에이전트 시스템이 클라우드와 로컬 모델을 결합하는 하이브리드 아키텍처로 진화하며, 사용자 기기에서 직접 고성능 AI를 활용하는 새로운 제품과 서비스의 등장을 가속화할 것으로 기대됩니다. 프리즘ML은 더 큰 모델과 새로운 아키텍처를 계속 개발 중이며, 지능 밀도를 높여 AI의 활용 범위를 넓히는 데 기여할 것입니다.