3진법 대규모 언어모델(LLM)의 정보 저장 효율을 나타내는 1.58비트(log2 3) 장벽을 깨는 새로운 기술이 발표되어 업계의 주목을 받고 있습니다. 기존 3진법 모델은 각 가중치를 -1, 0, +1 세 가지 값 중 하나로 저장하며, 통상적으로 1.58비트가 필요하다고 알려져 있습니다. 하지만 실제 배포 환경에서는 5개의 3진법 가중치를 1바이트에 담는 '5-트릿 패킹' 방식을 사용해 실질적으로는 1.625비트가 소요되었습니다.
새롭게 제안된 'BITCOS'라는 이 기술은 3진법 LLM 가중치의 실제 분포를 분석한 결과에서 출발합니다. 연구팀은 29개 3진법 LLM 모델을 분석한 결과, 가중치의 최대 51.5%가 0값을 가진다는 사실을 발견했습니다. 이처럼 0값이 빈번하게 나타나는 특성을 활용하여, BITCOS는 밀집된 존재 비트맵(dense presence bitmap)과 압축된 부호 벡터(compacted sign vector)로 구성된 분포 적응형 레이아웃을 도입했습니다. 이 방식은 모델 내 0값 밀도(z)에 따라 가중치당 2-z 비트만을 사용하여 데이터를 저장하며, 실험 결과 29개 모델 중 26개에서 기존 5-트릿 패킹보다 더 높은 압축률을 보였고, 가장 희소한 모델에서는 가중치당 1.485비트까지 낮추는 데 성공했습니다.
BITCOS는 현대 프로세서와 GPU에서 효율적인 압축 해제가 가능하도록 설계되었으며, AVX-512, AVX2, 인텔 Xe2 GPU에 최적화된 압축 해제 시퀀스를 제공합니다. 실제 3진법 행렬-벡터 곱셈 커널(matrix-vector multiplication kernel)에 적용했을 때, 0값 밀도가 높은 모델에서 최대 1.28배의 성능 향상을 가져왔습니다. 또한, 클라이언트 및 서버 CPU, 통합 및 개별 Xe2 GPU 등 5가지 플랫폼에서 LLM 추론(inference)을 테스트한 결과, CPU에서는 최대 1.18배, GPU에서는 최대 1.27배의 디코딩 처리량(decode throughput) 개선을 달성했습니다. 이는 LLM의 경량화 및 효율적인 배포에 중요한 진전을 의미하며, 제한된 하드웨어 환경에서도 대규모 언어모델을 더 빠르고 저렴하게 운영할 수 있는 가능성을 열어줍니다.