최근 발표된 BITCOS(BITmap and COmpacted Signs) 기술은 3진 대규모 언어모델(LLM)의 가중치 저장 효율과 추론 속도를 동시에 개선하며 LLM 경량화에 새로운 가능성을 제시했습니다. 이 기술은 LLM 가중치 중 0의 비율이 높다는 점에 착안하여, 0이 아닌 가중치만 효율적으로 압축하고 복원하는 방식으로 기존의 1.58비트 저장량 장벽을 넘어섰습니다. 연구팀이 분석한 29개 모델 중 26개에서 기존 5트릿(trit) 패킹 방식보다 작은 저장량을 달성했으며, 특히 CPU와 GPU 환경에서 최대 1.28배의 성능 향상을 기록했습니다.
BITCOS는 가중치의 0 여부를 나타내는 비트맵과 0이 아닌 가중치의 부호만 저장하는 압축 부호 벡터라는 두 가지 데이터 구조를 사용합니다. 0의 비율이 z일 때 가중치당 2-z 비트를 사용하는데, 이는 0 비율이 37.5%를 넘으면 기존 5트릿 패킹(1.625비트)보다 효율적입니다. 실제 모델에서는 0 비율이 29.7%에서 51.5% 사이로 나타나, 대부분의 모델에서 저장량 감소 효과를 보였습니다. 예를 들어, 0 비율이 51.48%인 CAT-Q Qwen3-1.7B 모델의 경우 가중치당 1.485비트까지 저장량을 줄일 수 있었습니다. 또한, 인텔(Intel)의 AVX-512/AVX2 명령어셋을 활용한 CPU 복원 커널과 Xe2 GPU용 조회 테이블 기반 커널을 구현하여, 실제 모델 구간에서 기존 2비트 커널 대비 CPU는 최대 1.18배, GPU는 최대 1.27배 빠른 디코딩 처리량을 달성했습니다.
이러한 저장량 감소와 속도 향상은 온디바이스(On-device) AI나 에이전트(Agent) 배포와 같이 메모리 대역폭에 제약이 있는 환경에서 대규모 언어모델(LLM)을 효율적으로 구동하는 데 매우 중요합니다. 특히 작은 배치 크기의 LLM 디코딩에서는 가중치 자료형의 비트 폭이 토큰당 시간에 직접적인 영향을 미치기 때문에, BITCOS와 같은 기술은 LLM의 접근성과 활용성을 크게 높일 수 있습니다. 다만, 루나 레이크(Lunar Lake) CPU와 같이 코어당 메모리 대역폭이 매우 높은 일부 환경에서는 가중치 복원 연산이 병목이 되어 기존 커널보다 느려지는 경우도 있었는데, 이는 저장량 절감만큼이나 복원 연산의 효율성도 중요하다는 점을 시사합니다.
결론적으로 BITCOS는 3진 양자화(quantization) LLM의 효율성을 한 단계 끌어올리는 중요한 기술적 진보입니다. 이는 더 적은 자원으로 더 빠르게 LLM을 구동할 수 있게 함으로써, 개인 기기에서의 AI 비서, 임베디드 시스템의 AI 기능 등 다양한 엣지(edge) 환경에서 LLM의 광범위한 적용을 가속화할 것입니다. 앞으로 LLM의 경량화 및 최적화 연구는 더욱 활발해질 것으로 예상되며, BITCOS와 같은 혁신적인 접근 방식은 AI 기술의 대중화에 크게 기여할 것입니다.