데이터 압축과 대규모 언어모델(LLM)은 서로 다른 분야의 기술처럼 보이지만, 사실상 '다음에 무엇이 올지 얼마나 잘 예측하느냐'라는 동일한 문제를 해결하고 있다는 흥미로운 분석이 제시되었습니다. 데이터를 효율적으로 압축할 수 있는 이유는 다음에 올 내용을 어느 정도 예상할 수 있기 때문이며, LLM 역시 앞에 나온 문맥을 바탕으로 다음 토큰(단어의 최소 단위)을 확률적으로 예측하는 방식으로 작동합니다. 즉, 예측이 정확할수록 압축 효율이 높아지고, 이는 좋은 LLM일수록 좋은 압축기가 될 수 있다는 의미입니다.
데이터 압축의 핵심 원리는 반복되거나 자주 등장하는 패턴에 적은 정보를 할당하는 것입니다. 예를 들어, 영어에서 'Q' 다음에는 거의 항상 'U'가 오기 때문에, 'U'를 매번 길게 기록할 필요 없이 적은 비트로 표현할 수 있습니다. 문맥을 잘 파악할수록 다음 문자를 더 정확하게 예측하고 더 많이 압축할 수 있습니다. LLM도 이와 유사하게, 학습된 방대한 데이터를 기반으로 특정 문맥에서 다음에 올 토큰의 확률을 계산합니다. 실제 다음 토큰에 높은 확률을 부여할수록 더 뛰어난 언어 모델로 평가되며, 이 확률 정보를 압축에 활용하면 모델이 잘 예측한 토큰은 적은 비트로, 예상 밖의 토큰은 많은 비트로 저장하여 압축률을 높일 수 있습니다. 실제로 GPT-2 같은 LLM은 단순한 이전 문자 기반 모델보다 훨씬 높은 압축률을 보여주기도 합니다.
이러한 관점은 LLM의 작동 원리에 대한 깊은 통찰을 제공합니다. LLM은 문장을 통째로 이해한 뒤 답을 한 번에 만드는 것이 아니라, 앞에 나온 토큰들을 보고 다음 토큰들의 확률을 반복적으로 계산하는 방식으로 텍스트를 생성합니다. 압축에서는 이미 어떤 토큰이 나올지 알고 있으므로, 모델이 그 토큰에 얼마나 높은 확률을 줬는지만 확인하면 됩니다. 예측이 정확할수록 필요한 비트 수가 줄어드는 원리입니다. 하지만 LLM을 일반적인 압축기(예: gzip) 대신 사용하기에는 현실적인 제약이 큽니다. LLM은 모델 크기가 수 기가바이트(GB)에 달하고 실행에 막대한 계산 비용이 필요하기 때문에, 몇 킬로바이트(KB)의 데이터를 압축하기 위해 거대한 LLM을 구동하는 것은 비효율적입니다. 결국 압축과 LLM은 같은 수학적 원리와 정보 이론에 기반하고 있지만, 실용적인 측면에서는 각자의 역할이 명확히 구분됩니다.