소규모 언어모델(SLM)이 현실 세계의 변화하는 요구에 지속적으로 적응하는 것은 매우 중요하지만, 제한된 자원 환경에서는 '치명적 망각(catastrophic forgetting)'이라는 큰 문제에 직면합니다. 이는 새로운 정보를 학습할 때 기존에 학습했던 중요한 지식을 잊어버리는 현상으로, SLM의 제한된 파라미터 공간을 직접 업데이트하는 방식으로는 해결하기 어렵습니다. 대규모 언어모델(LLM)을 위한 기존 메모리 기반 접근 방식은 SLM이 갖추지 못한 방대한 저장 공간과 강력한 문맥 내 추론(in-context reasoning) 능력에 의존한다는 한계가 있었습니다.
이러한 문제를 해결하기 위해, 연구진은 'MIITA(Memory-Induced Inference-Time Adaptation)'라는 새로운 프레임워크를 제안했습니다. MIITA는 지도 학습(supervised learning) 환경에서 저장 공간 제약 하에 지속 학습(continual learning)을 가능하게 합니다. MIITA는 과거의 지도 학습 경험을 '의미론적 앵커(semantic anchors)'와 함께 압축된 '교정 방향 프로토타입(correction-direction prototypes)' 형태로 저장합니다. 그리고 추론(inference) 시점에 의미론적 및 불확실성 기반 단서를 활용하여 이 프로토타입들을 검색하고, 검색된 방향을 '게이트형 임시 은닉 상태 적응(gated temporary hidden-state adaptation)'을 통해 모델에 적용합니다. 이 방식은 모델의 핵심 파라미터를 업데이트하거나, 프롬프트(prompt)를 확장하거나, 추론 시점에 역전파(backpropagation)를 수행할 필요 없이 과거의 감독 정보를 비파괴적으로 재사용할 수 있게 합니다.
MIITA의 이러한 설계는 1차 손실 감소, 불확실성 기반 검색, 그리고 이전 단계 지식 유지를 위한 방향성 커버리지와 이론적으로 연결됩니다. 다양한 지도 지속 학습 환경에서 수행된 광범위한 실험 결과는 MIITA가 고정된 메모리 예산 내에서 최종 성능을 일관되게 향상시키고 망각을 효과적으로 완화함을 보여주었습니다. 이는 SLM이 엣지 디바이스와 같이 자원이 제한된 환경에서 실시간으로 변화하는 데이터에 유연하게 대응하며 장기적으로 안정적인 성능을 유지할 수 있는 중요한 기반을 마련합니다.