대규모 언어모델(LLM)을 특정 작업에 맞춰 미세조정(fine-tuning)하는 것은 매우 중요하지만, 여러 작업을 순차적으로 학습시킬 때 기존 지식을 잊어버리는 '재앙적 망각(catastrophic forgetting)' 문제는 오랜 숙제였습니다. 특히 LoRA(Low-Rank Adaptation)와 같은 파라미터 효율적인 미세조정(PEFT) 방식은 하나의 작업에는 효과적이지만, 새로운 작업을 추가할수록 이전 작업의 학습 내용이 덮어씌워지는 경향이 있었습니다. 이러한 한계를 극복하기 위해 'ReCoLoRA(Recursive Consolidation of Low-Rank Adapters)'라는 새로운 프레임워크가 등장했습니다.
ReCoLoRA는 '스펙트럼 인식 재귀적 통합(spectrum-aware recursive consolidation)' 방식을 통해 이 문제를 해결합니다. 기존 LoRA 방식이 고정된 원본 가중치 위에 저랭크 업데이트를 계속 쌓는 것과 달리, ReCoLoRA는 각 새로운 작업을 학습하기 전에 현재까지 학습된 '유효 가중치(effective weight)'를 재분해(re-decompose)합니다. 이를 통해 이전 작업들의 지식을 모델에 '흡수(absorb)'시킨 상태에서 새로운 어댑터(adapter)를 초기화하여, 모델이 과거 지식을 잊지 않고 점진적으로 학습할 수 있도록 합니다. 구체적으로, 사전 학습된 가중치에 대한 무작위 특이값 분해(randomized SVD)로 어댑터를 초기화하고, 팔꿈치 기준(elbow criterion)으로 계층별 유효 랭크(effective rank)를 선택하며, 잔여 용량(residual capacity)을 열기 전에 주 부분 공간(principal subspace)을 먼저 조정합니다.
이 연구는 7-8B 규모의 LLM 백본 4개를 대상으로 6가지 GLUE 작업 연속 학습 시퀀스에서 ReCoLoRA의 성능을 검증했습니다. 그 결과, ReCoLoRA는 기존 LoRA, PiSSA, AdaLoRA, DoRA와 같은 다른 PEFT 기법들과 비교했을 때, 4개 백본 중 3개에서 가장 높은 최종 평균 점수를 달성했습니다. 더욱 놀라운 점은 ReCoLoRA가 더 적은 파라미터(parameter)를 학습시키면서도 이러한 우수한 성능을 보였다는 것입니다. 이는 LLM의 연속 학습 효율성을 크게 높일 수 있음을 의미하며, 제한된 자원으로도 여러 전문 분야에 걸쳐 LLM을 효과적으로 활용할 수 있는 가능성을 열어줍니다. ReCoLoRA는 LLM이 다양한 지식을 지속적으로 학습하고 통합하는 데 중요한 진전을 가져올 것으로 기대됩니다.