시계열 예측 파운데이션 모델(Forecasting Foundation Models)이 시계열 분류(time series classification) 작업에서 특징 추출기(feature extractor)로 활용되는 사례가 늘고 있지만, 과연 이들의 사전 학습된 표현(pretrained representation)이 별도의 사전 학습 없이도 강력한 성능을 보이는 기존 분류기보다 우위에 있는지에 대한 의문이 제기되어 왔습니다. 최근 아카이브(arXiv)에 발표된 논문 'Big Models, Small Gains: Frozen Forecasters as Classifiers on MONSTER'는 이러한 질문에 답하기 위해 통제된 환경에서 심층적인 벤치마킹을 수행했습니다.
연구팀은 리버소(Reverso)와 크로노스-볼트(Chronos-Bolt)라는 두 가지 예측 모델을 몬스터(MONSTER) 벤치마크의 6개 대규모 데이터셋에 적용했습니다. 특히 훈련 레이블(training label)의 1%, 10%, 100%만 사용하는 세 가지 시나리오를 설정하여 데이터 희소성(data scarcity)에 따른 성능 변화를 관찰했습니다. 비교 대상으로는 4가지 기존 시계열 분류 방법과 무작위 가중치(random-weight)를 가진 동일 예측 모델을 사용했습니다. 분석 결과, 사전 학습은 무작위 가중치 모델 대비 최대 23%p의 분류 정확도 향상을 보였지만, 가장 강력한 비사전 학습(non-pretrained) 기준선(baseline)을 능가하지는 못했습니다. 오히려 17개 설정 중 15개에서 성능이 떨어졌고, 나머지 2개에서는 동등한 수준을 보였습니다.
이러한 결과는 대규모 예측 파운데이션 모델의 사전 학습된 표현이 시계열 분류 작업에서 만능 해결책이 아닐 수 있음을 시사합니다. 특히 레이블 데이터가 부족한 상황에서는 모델 아키텍처(architecture) 자체의 강점만으로는 충분하지 않으며, 특정 작업에 특화된 강력한 기준선 모델의 중요성을 다시 한번 강조합니다. 연구팀은 진폭 정보(amplitude information)를 복원하면 성능 격차의 일부를 줄일 수 있었지만, 미세조정(fine-tuning)이나 예측 오차 특징(forecast-error features)만으로는 격차를 완전히 해소하기 어렵다는 점을 추가 실험을 통해 밝혔습니다. 이는 파운데이션 모델을 다른 도메인이나 작업에 적용할 때, 해당 작업의 특성을 면밀히 고려하고 강력한 기준선과 비교하는 것이 필수적임을 보여줍니다.