AI 연구소 프리즘ML(PrismML)이 혁신적인 압축 기술을 통해 대규모 언어모델(LLM)을 PC와 스마트폰에서 구동할 수 있을 만큼 작게 만드는 데 성공했습니다. 최근 공개된 '본사이 2 27B(Bonsai 2 27B)'는 알리바바(Alibaba)의 오픈소스 모델인 Qwen3.8 27B를 5.9GB로 압축하여, 원본 대비 메모리 사용량을 9~10배 줄였습니다. 이는 온디바이스 AI(On-device AI)의 대중화를 가속화할 중요한 진전으로 평가받고 있습니다.
프리즘ML은 칼텍(Caltech) 연구진이 설립한 스타트업으로, 압축 기술 전문가인 바박 하시비(Babak Hassibi) 교수가 이끌고 있습니다. 이들은 모델의 '가중치(weights)'를 16비트에서 3개의 값(+1, -1, 0)만 사용하는 '삼진(ternary) 가중치' 방식으로 단순화하여 압축률을 극대화했습니다. 특히 주목할 점은 압축 후에도 성능 손실이 거의 없다는 것입니다. 본사이 2는 Qwen 모델의 벤치마크 점수를 98%까지 유지하며, 이는 지난 3월 출시된 첫 본사이 모델의 95%보다 향상된 수치입니다. 이들의 초기 모델들은 이미 1,100만 회 이상 다운로드되며 기술력을 입증했습니다.
이러한 초소형 LLM의 등장은 AI 활용 방식에 근본적인 변화를 가져올 수 있습니다. 모델이 사용자 기기에서 직접 실행되면 클라우드 서버에 데이터를 전송할 필요가 없어 개인 정보 보호가 강화되고, 인터넷 연결 없이도 AI 기능을 사용할 수 있게 됩니다. 또한, 서버 비용 절감으로 AI 서비스 접근성이 높아질 것입니다. 프리즘ML은 앞으로 수백억 매개변수(parameter) 규모의 더 큰 모델에도 이 압축 기술을 적용할 계획이며, 모델이 커질수록 압축 효율과 성능 유지율이 더 높아질 것이라고 전망하고 있습니다. 이는 AI가 우리의 일상에 더욱 깊숙이 통합되는 계기가 될 것입니다.