텍스트 정보와 수치 데이터를 통합하여 시계열 예측의 정확도를 획기적으로 높이는 새로운 접근 방식이 제시되었습니다. 'CoCo(Context as Covariates)'라는 이 프레임워크는 대규모 언어모델(LLM)의 텍스트 이해 능력과 시계열 파운데이션 모델(TSFM)의 수치 분석 능력을 결합하여, 기존 모델들이 놓치던 중요한 예측 신호를 포착합니다. 이는 금융 시장의 뉴스 기사부터 기상 예보의 주석까지, 실제 세계의 다양한 시계열 데이터에 내재된 텍스트 맥락을 효과적으로 활용하는 방법을 제시합니다.
CoCo 프레임워크는 LLM이 텍스트 맥락을 분석하여 '예측 및 신뢰도 공변량(covariates)'이라는 수치화된 신호를 생성하고, TSFM은 이 신호를 기반으로 최종 예측을 수행하는 방식으로 작동합니다. 특히, 연구진은 실제 시계열 데이터에 LLM을 활용해 현실적인 멀티모달(multimodal) 데이터셋을 대규모로 생성하는 확장 가능한 방법을 개발하여, 기존에 부족했던 텍스트-수치 쌍 데이터의 한계를 극복했습니다. 이 과정에서 LLM은 '그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)'를 통해 예측 성능 개선에 기여하도록 미세조정(fine-tuning)되며, 이후 TSFM이 정렬된 LLM이 생성한 공변량으로 다시 미세조정됩니다.
실험 결과, CoCo는 Qwen3-4B-Instruct-2507 LLM과 Chronos2 TSFM을 사용했을 때, GPT-4o와 같은 최신 LLM 및 TSFM 단독 모델 대비 평균 절대 오차(MAE)를 최대 12%까지 개선하는 놀라운 성능을 보였습니다. 이 모델은 금융, 경제, 기상, 교통, 보안 등 다양한 분야의 실제 벤치마크 데이터셋에서 뛰어난 일반화 능력을 입증했습니다. 이는 텍스트와 수치 데이터가 복합적으로 작용하는 복잡한 현실 세계의 현상을 모델링하는 데 있어 새로운 지평을 열었으며, 코드와 학습된 모델, 평가 데이터셋이 모두 공개되어 있어 관련 연구 및 개발에 큰 기여를 할 것으로 기대됩니다.