대규모 시계열 데이터로 사전 학습해, 별도 훈련 없이 다양한 도메인의 미래 값을 예측하는 특화 파운데이션 모델. LLM이 언어를 범용으로 이해하듯, 시계열의 패턴을 범용으로 이해한다.
주가, 날씨, 서버 트래픽, 재고량 — 시간에 따라 변하는 데이터를 예측하려면 보통 도메인별로 모델을 따로 학습해야 했다. 시계열 파운데이션 모델은 이 접근을 뒤집는다. 수십억~수천억 개의 시계열 데이터 포인트로 사전 학습해서, 처음 보는 도메인의 데이터도 제로샷으로 예측한다.
대표적인 모델이 Google Research의 TimesFM이다. 200M 파라미터의 디코더 전용 트랜스포머로, 1,000억 개의 실제 시계열 데이터 포인트로 학습됐다. TimesFM 2.5에서 컨텍스트 길이가 16,384로 8배 늘어나고, 최대 1,000스텝 앞까지 확률적 분위 예측을 지원하게 됐다.
Python에서 pip install timesfm으로 설치하고, Hugging Face에서 체크포인트를 받아 몇 줄의 코드로 예측을 돌릴 수 있다. 도메인별 파인튜닝 없이 제로샷으로 ARIMA를 15~25% 이상 능가하는 결과를 보인다.
Google Cloud에서는 BigQuery ML에 TimesFM이 통합되어 있다. AI.FORECAST 함수에 model => "TimesFM 2.5"를 지정하면 SQL만으로 시계열 예측을 실행할 수 있다.
TimesFM 외에도 Amazon의 Chronos, Salesforce의 Moirai 등 시계열 파운데이션 모델이 잇달아 등장하고 있다. LLM 분야의 "하나의 모델이 다양한 태스크를 수행" 패러다임이 시계열에도 퍼지고 있다.
제로샷 성능이 인상적이지만, 도메인 특화 데이터로 파인튜닝한 모델에 항상 이기는 건 아니다. 시계열 파운데이션 모델은 텍스트를 이해하지 못한다 — 숫자 시퀀스의 패턴만 학습한 특화 모델이다.