최근 발표된 연구 논문에서 대규모 언어모델(LLM)의 지식을 훈련 없이 효율적으로 작은 모델에 이전하는 새로운 프레임워크인 'APM(Activation-Prune-Merge)'을 선보였습니다. 이 기술은 모델 크기나 아키텍처가 다른 이종 모델 간에도 유용한 기능을 성공적으로 전이할 수 있음을 보여주며, 기존의 복잡한 정렬(alignment) 과정 없이도 지식 이전을 가능하게 합니다.
APM은 기증자(donor) 모델, 즉 더 강력한 대규모 모델에서 특정 작업에 따라 활성화(activation)가 두드러지는 레이어, 은닉 차원, 어텐션 헤드, MLP 뉴런 등을 선택적으로 가지치기(pruning)하여 수혜자(recipient) 모델, 즉 작은 모델의 아키텍처에 맞게 재구성합니다. 이렇게 추출된 '기증자 슬라이스'는 미세한 보간 계수(micro interpolation coefficient)를 사용하여 수혜자 모델에 주입됩니다. 이 접근 방식은 기증자 모델을 정밀한 구조적 이식보다는 농축된 기능적 구성 요소의 원천으로 간주하며, 16가지 추론, 수학, 코드 생성, 지시 따르기, 분류 벤치마크에서 30억(3B) 매개변수 수혜자 모델의 평균 정확도를 55.5%에서 60.6%로 향상시켰습니다. 특히 RTE(Recognizing Textual Entailment) 정확도는 64.3%에서 82.3%로, QNLI(Question-answering NLI)는 52.3%에서 65.7%로, BoolQ는 70.8%에서 79.2%로 크게 개선되었습니다.
이 연구 결과는 명시적인 의미론적 정렬(semantic alignment) 없이도 이종 모델 간의 교차 스케일 지식 이전이 성공할 수 있음을 시사합니다. 이는 대규모 모델의 방대한 지식을 작은 모델에 효율적으로 활용할 수 있는 새로운 길을 열어주며, 자원 제약이 있는 환경에서도 고성능 AI 모델을 구축할 가능성을 높입니다. 특히, 모델 경량화와 효율성 개선이 중요한 현재 AI 개발 트렌드에서 APM과 같은 훈련 없는 지식 이전 기술은 모델 배포 및 운영 비용 절감에 크게 기여할 수 있을 것으로 기대됩니다.