대규모 언어모델(LLM)은 뛰어난 성능을 자랑하지만, 수십억 개의 매개변수(parameter)로 인해 엄청난 메모리를 요구합니다. 이는 자원 제약이 있는 환경에서의 활용을 어렵게 만드는 주요 요인입니다. 최근 연구에서는 이러한 문제를 해결하기 위해 뉴런의 중요도와 데이터 분포를 동시에 고려하는 새로운 LLM 압축 기법을 제안했습니다.
이 연구는 기존의 특이값 분해(SVD) 기반 저랭크 근사(Low-Rank Approximation) 방식에 뉴런의 중요도와 데이터 인지(data-aware) 요소를 결합합니다. 기존 연구들이 매개변수 중요도나 계층별 기능적 동등성 중 하나에 초점을 맞췄던 것과 달리, 이 방법은 두 가지 관점을 단일 목표 함수(objective function)에 통합합니다. 또한, 압축률을 모든 계층에 균일하게 적용하거나 계산 비용이 큰 휴리스틱 탐색에 의존했던 이전 방식과 달리, 각 계층의 특성을 고려하여 압축률을 동적으로 효율적으로 할당하는 알고리즘을 개발했습니다. 실험 결과, 이 접근 방식은 특히 높은 압축률에서 기존 최첨단(state-of-the-art) 방법과 동등하거나 훨씬 우수한 성능을 보였습니다.
이러한 LLM 압축 기술은 제한된 하드웨어 자원을 가진 기기나 엣지 디바이스에서도 대규모 언어모델을 구동할 수 있게 하여, 인공지능(AI)의 적용 범위를 크게 확장할 잠재력을 가집니다. 예를 들어, 스마트폰이나 임베디드 시스템에서도 온디바이스(on-device) AI 기능을 구현하여 개인 정보 보호를 강화하고 응답 속도를 향상시킬 수 있습니다. 이는 클라우드 기반 LLM 서비스에 대한 의존도를 줄이고, 더 다양한 산업 분야에서 AI 기술의 혁신적인 활용을 가능하게 할 것입니다.