Hacker News (Top)HOTAI 재작성

프리즘ML, 본사이 2 27B 공개: 9배 작아진 LLM

프리즘ML이 270억 개 매개변수(파라미터) 규모의 멀티모달 대규모 언어모델(LLM) '본사이 2 27B'를 공개했습니다. 이 모델은 기존 대비 9배 작은 5.9GB의 메모리 공간만 차지하면서도, 원본 모델 성능의 98.2%를 유지해 로컬 기기에서 고성능 AI를 효율적으로 구동할 수 있게 합니다. 추론, 코딩, 비전 등 다양한 작업에서 뛰어난 성능을 보이며, 에너지 효율성도 크게 개선되었습니다.

8시간 전·2026.09.17·읽기 2분·JonSchneider

프리즘ML(PrismML)이 270억 개 매개변수(파라미터)를 가진 멀티모달 대규모 언어모델(LLM)인 '본사이 2 27B(Bonsai 2 27B)'를 발표했습니다. 이 모델은 Qwen3.8 27B를 기반으로 하며, 기존 모델 대비 9배나 작은 5.9GB의 메모리 공간을 차지하면서도 원본 모델 성능의 98.2%를 유지하는 놀라운 압축률을 자랑합니다. 이는 로컬 기기에서 고성능 AI를 효율적으로 실행할 수 있는 새로운 가능성을 열었습니다.

본사이 2 27B는 3진법(-1, 0, +1) 가중치와 FP16 그룹 스케일링을 적용하여 유효 비트(effective bits)를 1.76비트로 줄였습니다. 이를 통해 262K 토큰의 긴 컨텍스트(context) 창과 텍스트-이미지 멀티모달 입력을 지원하며, 아파치 2.0(Apache 2.0) 라이선스로 공개됩니다. 특히 추론(reasoning), 코딩(coding), 비전(vision), 에이전트(agentic) 기능 등 다양한 영역에서 이전 버전보다 향상된 성능을 보이며, 엔비디아 RTX 5090 GPU에서 초당 최대 143토큰, M5 Max에서 46.8토큰의 높은 처리량(throughput)을 달성합니다. 에너지 효율성 또한 RTX 4090에서 토큰당 0.714mWh로, 8B 모델보다 40% 더 효율적입니다.

이러한 '거의 무손실(near-lossless)' 압축 기술은 AI 배포 방식에 큰 변화를 가져올 것입니다. 더 많은 장치에서 대규모 언어모델을 실행할 수 있게 되어, 코딩 에이전트, 컴퓨터 사용 워크플로우, 개인 문서 분석, 멀티모달 디버깅 등 복잡한 작업을 로컬에서 처리할 수 있습니다. 이는 민감한 데이터를 클라우드로 보내지 않고도 AI의 이점을 활용할 수 있게 하며, 하이브리드(hybrid) AI 시스템 구축을 가속화할 것입니다. 앞으로는 모델의 성능뿐만 아니라 주어진 메모리, 컴퓨팅, 전력 예산 내에서 얼마나 유용한 지능을 제공할 수 있는지가 더욱 중요해질 것입니다.

1인 창업자를 위한 기회 분석

AI 분석 · 참고용이며 검증이 필요합니다

6/10

보통

왜 6점인가

핵심 기술 개발은 어렵지만, 경량화된 LLM을 활용한 특정 산업/도메인 특화 솔루션은 1인 창업자에게 기회가 될 수 있습니다. 특히 온프레미스 배포 니즈가 있는 기업을 대상으로 할 수 있습니다.

문제 / 미충족 수요

고성능 대규모 언어모델(LLM)을 로컬 기기에서 효율적으로 실행하기 어렵고, 특히 코딩, 비전, 에이전트 기능에서 성능 저하 없이 압축하는 기술이 부족합니다.

한국 시장

국내 미진출 — 기회한국에서도 로컬 LLM에 대한 수요는 증가하고 있으나, 아직 고성능 경량화 모델을 활용한 엔터프라이즈 솔루션 시장은 초기 단계입니다. 특히 보안 및 데이터 주권 이슈가 있는 산업에서 기회가 있습니다.

수익 모델

B2B SaaS 구독, API 종량제, 온프레미스(On-premise) 솔루션 · 돈 내는 주체: 자체 서버 또는 로컬 기기에서 고성능 LLM을 운영하고자 하는 기업 고객(보안, 비용, 맞춤화 니즈가 있는 금융, 제조, 의료 등)

1인 실현 가능성

2/5

핵심 기술인 LLM 압축 및 경량화는 고도의 AI/ML 전문성과 상당한 컴퓨팅 자원을 요구하여 1인 창업자가 원천 기술을 개발하기는 매우 어렵습니다. 하지만 기존 경량화 모델을 활용한 특정 도메인 특화 솔루션 개발은 가능합니다.

진입 지점 (Wedge)

특정 산업(예: 보안이 중요한 금융, 의료)의 온프레미스 LLM 배포 컨설팅 및 커스터마이징 서비스 제공

이번 주 첫 실험

로컬 LLM 배포에 어려움을 겪는 잠재 고객(중소기업, 스타트업) 5곳을 인터뷰하여 구체적인 니즈와 페인 포인트를 파악합니다.

Original source

이 글은 Hacker News (Top)의 기사를 yozm.tech가 한국어로 재작성한 버전입니다.

원문 보기