새로운 오픈소스 프로젝트 BitRun이 마이크로소프트의 1비트/1.58비트 바이너리 신경망(BitNet b1.58) 기반 대규모 언어모델(LLM)을 CPU에서 직접 실행할 수 있는 단일 바이너리 러너를 선보였습니다. 이 도구는 macOS, Windows, Linux 등 다양한 운영체제를 지원하며, 특히 애플 실리콘(Apple Silicon) CPU에서 초당 100토큰 이상의 빠른 추론 속도를 보여 저전력 기기에서의 LLM 활용 가능성을 크게 높였습니다.
BitRun은 기존 1비트 모델 테스트의 복잡성을 해결합니다. 기존에는 C++ 컴파일러, CMake, Python 툴체인 설정과 CPU 벡터 명령어 최적화(AVX2, ARM NEON) 등 번거로운 과정이 필요했습니다. 하지만 BitRun은 모든 의존성을 포함한 자체 실행 파일 형태로 제공되어, 단 한 줄의 명령어로 모델을 다운로드하고 실행하거나 OpenAI 호환 REST API 서버를 구동할 수 있습니다. 예를 들어, 70M BitNet 모델은 애플 M4 Pro CPU에서 초당 1,355토큰, 인텔 i5-12600K CPU에서 초당 492토큰의 생성 속도를 기록하며 매우 낮은 메모리 사용량(150MB 미만)을 보여줍니다.
이러한 BitRun의 등장은 LLM의 접근성과 활용성을 한 단계 끌어올릴 것으로 기대됩니다. 고가의 GPU 없이도 일반 CPU, 특히 배터리 구동 노트북이나 엣지 디바이스에서도 LLM을 직접 실행할 수 있게 되면서, 온디바이스 AI(On-device AI) 개발이 더욱 활성화될 것입니다. 개발자들은 복잡한 환경 설정 없이도 1비트 LLM을 활용하여 새로운 애플리케이션을 만들거나 기존 서비스에 AI 기능을 통합하는 데 집중할 수 있게 됩니다. 이는 에너지 효율적인 AI 솔루션 개발을 촉진하고, 개인 정보 보호에 민감한 환경에서도 AI 모델을 로컬에서 안전하게 운영할 수 있는 기반을 마련할 것입니다.