대규모 언어모델(LLM)을 활용해 시계열 데이터와 언어를 연결하는 멀티모달 모델 훈련 방식이 '자기 지도 학습의 함정'에 빠져 있었습니다. 기존 방식은 LLM이 시계열 데이터를 읽고 직접 설명을 생성하도록 했는데, 이 경우 레이블(label)의 품질이 LLM 자체의 인지 능력에 의해 제한되는 문제가 발생했습니다. 즉, 모델이 배워야 할 인지 능력을 레이블링하는 LLM이 이미 가지고 있지 않으면, 데이터가 새로운 것을 가르칠 수 없다는 근본적인 한계가 있었습니다.
이 문제를 더욱 심화시키는 것은 대부분의 데이터셋이 단일 변수 시계열에 초점을 맞춘다는 점입니다. 하지만 실제 중요한 패턴, 예를 들어 채널 간 상관관계(cross-channel correlation), 선행-지연 구조(lead-lag structure), 동시 발생 이상 징후(co-occurring anomalies) 등은 여러 변수를 동시에 분석할 때만 나타납니다. 이러한 다변량(multivariate) 시계열 데이터는 LLM의 인지적 한계가 가장 명확하게 드러나는 영역입니다. 연구진은 기존 방법론이 신뢰성, 현실성, 확장성 중 하나만 만족할 뿐 세 가지를 동시에 달성하지 못하는 '삼중고(trilemma)'에 직면했다고 지적합니다. 이에 대한 해결책으로, 연구팀은 '인지(perception)'와 '설명(description)'을 분리하는 새로운 접근 방식을 제안했습니다.
이 새로운 방법론은 LLM이 잘하지 못하는 '인지' 부분을 결정론적 코드(deterministic code)를 통해 실제 오픈소스 다변량 시계열 데이터에서 통계치를 계산하도록 했습니다. 그리고 LLM은 이렇게 미리 계산된 '사실(fact)'들을 언어로 표현하는 '설명' 역할만 담당하도록 했습니다. 이처럼 계산 기반으로 시계열 데이터를 이해하고 언어로 표현하는 40억 매개변수 모델인 CGTime을 개발했습니다. CGTime은 다변량 이해 작업에서 훨씬 큰 범용 모델들을 능가하는 성능을 보였습니다. 자체 벤치마크에서 GPT-4o-mini의 0.173, GPT-5.4-nano의 0.203 대비 0.283이라는 가장 높은 다변량 사실 점수(multivariate fact score)를 달성했으며, 생성된 캡션에서 검증 가능한 수치적 사실을 더 정확하게 진술하고 더 넓은 범위의 통계적 속성을 다루는 것으로 나타났습니다.
이 연구는 시계열 데이터 분석 분야에 중요한 시사점을 제공합니다. 기존 LLM 기반 멀티모달 모델의 근본적인 한계를 극복하고, 복잡한 다변량 시계열 데이터를 더 정확하고 깊이 있게 이해할 수 있는 길을 열었습니다. 특히, LLM의 강점인 언어 생성 능력은 활용하되, 약점인 정밀한 데이터 인지 및 분석은 전문화된 계산 모듈에 맡기는 하이브리드 접근 방식의 유효성을 입증했습니다. 이는 금융, 의료, 산업 제어 등 정밀한 시계열 분석이 필수적인 다양한 분야에서 AI 모델의 활용도를 크게 높일 수 있을 것으로 기대됩니다. 앞으로 이와 같은 '계산 기반 인지-언어 기반 설명' 패러다임이 더 많은 멀티모달 AI 개발에 영감을 줄 수 있을 것입니다.