프리즘ML(PrismML)이 스마트폰에서 직접 실행할 수 있는 270억 개 매개변수(27B)급 대규모 언어모델(LLM)인 '본사이 27B(Bonsai 27B)'를 발표하며 온디바이스(on-device) AI 분야에 새로운 이정표를 세웠습니다. 기존 27B 모델은 일반적으로 54GB(16비트 정밀도) 또는 18GB(4비트)에 달해 스마트폰이나 대부분의 노트북에서 구동하기 어려웠지만, 본사이 27B는 혁신적인 저비트(low-bit) 양자화 기술을 통해 이 장벽을 허물었습니다.
본사이 27B는 두 가지 버전으로 제공됩니다. '3진법 본사이 27B(Ternary Bonsai 27B)'는 5.9GB로, 1.71 유효 비트(effective bit)를 사용하며 노트북에서 다단계 추론, 도구 호출, 에이전트 기능을 제공합니다. '1비트 본사이 27B(1-bit Bonsai 27B)'는 3.9GB로, 1.125 유효 비트를 사용해 아이폰 17 프로(iPhone 17 Pro)와 같은 스마트폰 메모리 예산에 맞춰 27B급 모델을 최초로 온디바이스에서 실행할 수 있게 합니다. 두 버전 모두 멀티모달(multimodal) 기능을 갖춰 텍스트뿐만 아니라 스크린샷, 문서, 카메라 입력 등 시각 정보도 처리하며, 262K 토큰의 긴 컨텍스트(context)와 추측 디코딩(speculative decoding)을 지원합니다. 15개 벤치마크 스위트에서 3진법 모델은 풀 정밀도(full-precision) 대비 95%, 1비트 모델은 90%의 지능을 유지하는 것으로 나타나, 크기 감소에도 불구하고 뛰어난 성능을 보여주었습니다.
이러한 온디바이스 27B급 모델의 등장은 AI 활용 방식에 중요한 변화를 가져올 것입니다. 기존 클라우드 기반 AI는 매 단계마다 원격 요청이 발생하고, 토큰당 비용이 누적되며, 사용자 개인 데이터가 네트워크를 통해 전송되는 구조적 제약이 있었습니다. 하지만 본사이 27B와 같은 온디바이스 모델은 수백 단계의 에이전트(agent) 작업 루프를 실행해도 추가 비용이 발생하지 않으며, 사용자 데이터가 기기 외부로 나가지 않아 개인 정보 보호 측면에서 큰 이점을 제공합니다. 이는 오프라인에서도 작동하는 영구적인 온디바이스 에이전트, 개인 데이터 기반의 비서 등 새로운 서비스 카테고리를 창출할 수 있습니다. 또한, 복잡하거나 민감하지 않은 작업은 로컬 모델로 처리하고, 최첨단 클라우드 모델은 가장 어려운 단계에만 활용하는 하이브리드(hybrid) 시스템 아키텍처를 가능하게 하여 전체 시스템의 비용 효율성을 크게 높일 수 있습니다.