시계열 예측은 주식 시장, 날씨, 전력 소비 등 다양한 분야에서 중요하게 활용됩니다. 최근에는 대규모 언어모델(LLM)의 핵심 기술인 트랜스포머(Transformer) 아키텍처가 시계열 예측에도 도입되어 좋은 성능을 보이고 있지만, 모든 시계열 작업에 하나의 고정된 아키텍처를 적용하는 데는 한계가 있었습니다. 각기 다른 데이터 특성과 예측 설정에 따라 최적의 아키텍처가 달라질 수 있기 때문입니다.
이러한 문제를 해결하기 위해 압델엘라만 엘세이드(AbdElRahman ElSaid)와 다미르 풀라토프(Damir Pulatov) 연구팀은 'EVOTS(Evolutionary Transformer Search)'라는 진화 신경망 아키텍처 탐색(NAS) 프레임워크를 제안했습니다. EVOTS는 모듈형 유전체(genome) 표현 방식을 사용하여 어텐션(attention), 피드포워드(feed-forward), 투영(projection) 등 트랜스포머의 핵심 구성 요소를 유연하게 조합합니다. 이를 통해 수작업으로 설계된 규칙에 의존하지 않고도 다양한 아키텍처 공간을 효과적으로 탐색하며, 진화 과정에서 구조적 유효성을 유지하는 복구 메커니즘을 포함하고 있습니다. 연구팀은 ETT 계열의 벤치마크 데이터셋(ETTh1, ETTh2, ETTm1, ETTm2)을 활용하여 단변량-단변량, 다변량-단변량, 다변량-다변량 예측 등 다양한 시나리오에서 EVOTS의 성능을 평가했습니다. 그 결과, 특히 다변량-다변량 예측 설정에서 기존의 강력한 트랜스포머 기반 모델보다 경쟁력 있거나 더 나은 평균 제곱 오차(MSE)를 달성했습니다.
EVOTS의 등장은 시계열 예측 모델 개발 방식에 중요한 변화를 가져올 수 있습니다. 기존에는 전문가가 수많은 시행착오를 거쳐 최적의 모델 아키텍처를 찾아야 했지만, EVOTS는 진화 알고리즘을 통해 작업에 가장 적합한 트랜스포머 유사 모델을 자동으로 발견합니다. 이는 모델 개발 시간과 비용을 절감하고, 비전문가도 고성능 시계열 예측 모델을 구축할 수 있는 가능성을 열어줍니다. 또한, 다양한 시계열 데이터의 복잡성을 효과적으로 다룰 수 있는 유연한 아키텍처를 제공함으로써, 더욱 정확하고 신뢰할 수 있는 예측 결과를 기대할 수 있게 될 것입니다.