다중 소스 전이 학습(multi-source transfer learning)은 여러 데이터 소스에서 얻은 지식을 통합하여 새로운 작업의 성능을 향상하는 강력한 기술입니다. 하지만 기존 방식들은 모든 소스 모델을 동시에 메모리에 로드하거나(O(K) 메모리), 추론 시 모든 모델을 배포해야 하는 치명적인 확장성 문제를 안고 있었습니다. 이는 특히 자원 제약이 있는 환경이나 지속적으로 변화하는 데이터 소스를 다루는 경우 실제 배포를 어렵게 만드는 주요 걸림돌이었습니다.
최근 발표된 'GRASP (Gradient-Aligned Sequential Parameter Transfer)'는 이러한 문제를 해결하기 위해 세 가지 혁신적인 접근 방식을 제안합니다. 첫째, 순차적 처리(sequential processing)를 통해 한 번에 하나의 소스만 대상 모델에 병합하여 메모리 사용량을 O(1)로 유지합니다. 둘째, 매개변수별 경사 정렬(parameter-wise gradient alignment)을 통해 대상 도메인과 최적화 방향이 일치하는 매개변수만 선택적으로 전이하여 '부정적 전이(negative transfer)'를 방지합니다. 마지막으로, 반복적인 미세조정(iterative fine-tuning)을 통해 전이된 지식을 다음 소스를 통합하기 전에 적응시킵니다. 이러한 방식으로 GRASP는 10년에서 108년에 이르는 시간적 분포 변화를 가진 세 가지 지속 학습 벤치마크와 네 가지 아키텍처(130만~2,560만 매개변수)에서 앙상블 방식의 71.7% 정확도보다 훨씬 높은 93.5%의 평균 정확도를 달성했습니다.
GRASP의 가장 중요한 의미는 메모리 사용량 증가 없이 무한히 많은 소스로 확장할 수 있다는 점입니다. 이는 클라우드 환경이나 엣지 디바이스와 같이 자원이 제한된 환경에서 대규모 언어 모델(LLM)이나 복잡한 AI 모델을 배포하고 지속적으로 업데이트해야 하는 경우에 특히 유용합니다. 지속적으로 진화하는 데이터 소스에 대한 학습 및 적응 능력을 크게 향상시켜, AI 시스템이 현실 세계의 변화에 더욱 민첩하게 대응할 수 있도록 돕는 핵심 기술이 될 것입니다.