대규모 언어 모델(LLM)이 새로운 작업에 적응하는 핵심 능력인 문맥 내 학습(In-context learning, ICL)이 미세조정(fine-tuning) 과정에서 손상될 수 있다는 연구 결과가 나왔습니다. 기존에는 모델의 주의(attention) 메커니즘 변화를 통해 ICL 능력을 진단하는 방식이 주로 사용되었으나, 이 연구는 주의 메커니즘의 변화가 실제 행동적 학습 능력과 일치하지 않을 수 있음을 밝혀냈습니다.
Jinyuan Zhang 외 4명의 연구진은 Llama-2-7B 모델을 대상으로 통제된 4가지 실험을 진행했습니다. 이들은 '문맥 내 민감도(In-Context Sensitivity, ICS)'라는 새로운 지표를 도입했는데, 이는 시연(demonstration) 접두사 변화에 따른 마지막 토큰 주의의 평균 행 거리로 정의됩니다. 또한, 행동적 정확도 차이를 측정하는 'ICL-GAP' 지표를 함께 사용했습니다. 실험 결과, ICS를 최대화하는 정규화 기법을 적용했을 때 ICS 값은 기하학적 상한에 근접했지만, ICL-GAP은 거의 0에 머물렀고 MMLU(대규모 다중 작업 언어 이해) 정확도는 0.371에서 0.279로 하락했습니다. 이는 주의 수준의 민감도와 실제 모델의 행동적 학습 능력 사이에 괴리(Goodhart dissociation)가 발생했음을 보여줍니다.
이러한 현상은 모델의 주의가 시연의 레이블보다는 형식이나 본문 토큰으로 집중되면서 발생합니다. 즉, 모델은 문맥 변화에 '민감하게 반응'하는 것처럼 보이지만, 실제로 유의미한 방식으로 학습하지 못하는 것입니다. 이번 연구는 미세조정된 LLM의 ICL 능력을 평가할 때 주의 메커니즘만으로는 불충분하며, 행동적 학습 능력의 변화를 직접 측정하는 것이 중요함을 시사합니다. 향후 LLM 미세조정 시 ICL 능력을 효과적으로 보존하기 위한 새로운 진단 및 최적화 방법론 개발에 중요한 단초를 제공할 것으로 보입니다.