최근 공개된 연구 논문 'RAPID(Reliability-Aware Pair Importance Distillation)'가 인공지능(AI) 모델 경량화의 핵심 기술인 지식 증류(knowledge distillation) 과정의 효율성을 획기적으로 개선하는 새로운 방법을 제시했습니다. 지식 증류는 크고 복잡한 교사(teacher) 모델의 지식을 작고 빠른 학생(student) 모델로 전달하여, 성능 저하를 최소화하면서 모델의 크기와 추론(inference) 속도를 최적화하는 기술입니다. RAPID는 이 과정에서 발생하는 비효율성을 해결하여, 더 정확하고 효율적인 경량 모델 생성을 가능하게 합니다.
기존의 지식 증류 방식 중 하나인 '예시 간 관계 증류(inter-example relational distillation)'는 미니 배치(mini batch) 내의 모든 예시 쌍(pair) 간 관계를 분석하여 교사 모델의 표현 기하학(representation geometry)을 학생 모델에 전달합니다. 하지만 모든 쌍을 계산하는 것은 배치 크기에 따라 제곱에 비례하는(quadratic complexity) 계산 복잡도를 가지며, 무작위 샘플링은 제한된 관계 예산(relation budget)을 비효율적으로 사용할 수 있습니다. RAPID는 이러한 문제를 해결하기 위해 '신뢰도 기반 관계 대상(reliability-gated relational target)'과 '전체 지원 적응형 쌍 제안(full support adaptive pair proposal)'이라는 두 가지 핵심 요소를 분리하여 도입합니다. 신뢰도는 어떤 교사 관계를 강조할지 결정하고, 교사의 보정된 엔트로피(calibrated teacher entropy)와 학생-교사 잔차(detached student-teacher residuals)는 어떤 관계를 평가할지 결정합니다. 이를 통해 중요한 관계에 집중하고 불필요한 계산을 줄여 효율성을 높입니다.
RAPID는 텍스트 분류(text classification) 데이터셋인 AG News와 SST-2에서 성능을 검증했습니다. AG News 데이터셋에서는 BERT-to-DistilBERT 증류를 통해 94.241%의 정확도를 달성했으며, SST-2 데이터셋에서는 DistilBERT-to-DistilBERT 증류를 통해 88.685%의 정확도를 기록했습니다. 이는 교차 엔트로피(cross entropy) 기준선인 94.154% 및 87.271%보다 높은 수치입니다. 특히, 신뢰도 기반 관계 증류는 두 데이터셋 모두에서 가장 높은 평균 학생 정확도를 보였습니다. 이 결과는 대상의 신뢰도와 평가 우선순위가 분리 가능한 설계 차원이라는 모듈식 관점을 지지하며, AI 모델 경량화 기술 발전에 중요한 기여를 할 것으로 기대됩니다. 이는 제한된 자원으로 고성능 AI 모델을 배포해야 하는 다양한 산업 분야에 실질적인 이점을 제공할 것입니다.