대규모 언어모델(LLM)의 지식 증류(Knowledge Distillation, KD)는 작은 모델(학생 모델)이 큰 모델(교사 모델)의 성능을 모방하도록 학습시키는 강력한 기술입니다. 이를 통해 모델 배포 비용을 절감하고 추론 속도를 높일 수 있지만, 왜 지식 증류가 효과적인지에 대한 근본적인 메커니즘은 그동안 명확하게 밝혀지지 않았습니다. 최근 발표된 연구는 이 수수께끼를 풀기 위한 새로운 접근 방식을 제시했습니다.
이 연구는 LLM의 출력 점수를 '상호작용(interactions)'의 합으로 분해하는 통합적인 방법을 제안합니다. 여기서 각 상호작용은 단어와 같은 입력 변수들의 비선형적 관계를 나타냅니다. 연구팀은 이 상호작용 분해를 통해 다양한 지식 증류 방법의 공통 메커니즘이 '상호작용 희소화(sparsification of interactions)'라는 것을 발견했습니다. 즉, 학생 모델은 추론 과정에서 더 적은 수의 상호작용만 유지하고, 불필요한 다른 상호작용의 효과는 억제하여 0으로 만든다는 것입니다. 또한, 지식 증류 방법별 성능 차이는 복잡한 상호작용을 처리하는 능력에서 비롯되며, 복잡한 상호작용의 희소성을 높일수록 더 좋은 성능을 보인다는 사실도 밝혀냈습니다.
이러한 통찰력을 바탕으로 연구팀은 '복잡한 상호작용 페널티(Complex Interaction Penalty, CIP)'라는 플러그 앤 플레이(plug-and-play) 방식의 손실 함수를 제안했습니다. CIP는 증류 과정에서 복잡한 상호작용의 희소성을 명시적으로 강화하도록 설계되었습니다. 광범위한 실험 결과, CIP를 다양한 지식 증류 방법에 통합했을 때 인-도메인(in-domain) 및 분포 외(out-of-distribution) 벤치마크 모두에서 일관되게 성능이 향상되는 것을 확인했습니다. 이 연구는 지식 증류의 근본 원리를 이해하고, 더 효율적이고 강력한 경량 LLM을 개발하는 데 중요한 기반을 제공합니다.