최근 시계열 파운데이션 모델(TSFM)이 다양한 분야에서 주목받고 있지만, 실제 과학 분야에 적용하기에는 몇 가지 한계가 있었습니다. 이 모델들은 방대한 시계열 데이터를 학습하여 보편적인 시간 역학을 이해하지만, 특정 과학 도메인(예: 기상학, 토양 수분)에 '제로샷(zero-shot)' 방식으로 바로 적용할 경우 데이터 분포 불일치로 인해 정확도가 떨어지는 문제가 발생합니다. 또한, 모델의 높은 계산 비용 때문에 센서 네트워크와 같은 엣지 컴퓨팅 환경에 배포하기 어렵다는 점도 큰 걸림돌이었습니다.
이러한 문제를 해결하기 위해, 루파스리 데이(Rupasree Dey) 연구팀은 '가드(Guard: Gated Uncertainty-Aware Routing for Distillation)'라는 새로운 프레임워크를 제안했습니다. 가드는 여러 파운데이션 모델(FM)을 '선생님(teacher)'으로 활용하여, 가볍고 특화된 예측 모델을 훈련하는 방식입니다. 이 프레임워크는 두 가지 핵심 메커니즘을 통해 작동합니다. 첫째, '맥락 라우터(Contextual Router)'는 입력 데이터의 특성에 따라 가장 적합한 선생님 모델을 동적으로 선택하여 다양한 파운데이션 모델의 상호 보완적인 강점을 활용합니다. 둘째, '불확실성 게이팅 온도(Uncertainty-Gated Temperature)' 메커니즘은 선생님 모델의 예측 신뢰도가 실제 도메인과 다를 경우, 지식 증류(distillation) 강도를 자동으로 조절하여 잘못된 학습을 방지하는 '회로 차단기(circuit-breaker)' 역할을 합니다.
연구팀은 기상학, 생태계 탄소 흐름, 토양 수분, 에너지 그리드 등 기후 관련 네 가지 핵심 도메인에서 가드 프레임워크를 평가했습니다. 그 결과, 가드는 고정 가중치 다중 선생님 증류(multi-teacher distillation) 방식에 비해 RMSE(평균 제곱근 오차)를 크게 줄였습니다. 이는 원본 데이터와 목표 도메인 데이터 간의 분포 변화로 인해 제로샷 정확도가 낮았던 사전 훈련된 파운데이션 모델(선생님)로부터도 효과적으로 지식을 추출할 수 있음을 보여줍니다. 특히, 가드는 가장 어려운 예측 사례의 28.5%에서 전반적으로 성능이 더 우수한 파운데이션 모델보다도 더 나은 예측을 제공하며, 도메인 불일치 선생님 모델이 중요한 보정 역할을 할 수 있음을 입증했습니다. 궁극적으로 이 기술은 자원 제약적인 엣지 환경에서도 고정밀 과학 예측을 가능하게 하여, 기후 변화 예측 및 대응에 중요한 기여를 할 것으로 기대됩니다.