구글이 공개한 시계열 파운데이션 모델 TimesFM — 2억 파라미터로 16K 컨텍스트 지원

시계열 예측에도 파운데이션 모델 시대가 왔어요

구글 리서치에서 TimesFM이라는 시계열(Time-Series) 전용 파운데이션 모델을 공개했어요. 2억(200M) 파라미터 규모에 16,000 토큰 길이의 컨텍스트 윈도우를 지원하는 모델인데요, 이게 왜 주목할 만한지 차근차근 풀어볼게요.

먼저 시계열 데이터가 뭔지부터 얘기하면, 시간 순서대로 기록된 데이터를 말해요. 주식 가격, 서버 CPU 사용률, 일별 매출, 기온 변화, IoT 센서 값 같은 것들이 다 시계열 데이터예요. 이런 데이터의 미래 값을 예측하는 게 시계열 예측(forecasting)이고, 이건 거의 모든 산업에서 핵심적인 문제거든요.

그런데 기존의 시계열 예측은 좀 번거로웠어요. 데이터마다 개별적으로 모델을 학습시켜야 했고, ARIMA, Prophet, 혹은 LSTM 기반 모델을 데이터 특성에 맞게 튜닝하는 과정이 필요했어요. 파운데이션 모델이 뭐냐면, LLM처럼 대량의 데이터로 미리 학습해둔 범용 모델이에요. ChatGPT가 별도 학습 없이도 다양한 질문에 답할 수 있는 것처럼, TimesFM도 별도 학습 없이(zero-shot) 다양한 시계열 데이터의 미래를 예측할 수 있다는 게 핵심이에요.

어떻게 동작하나요?

TimesFM의 아키텍처는 LLM에서 많이 쓰이는 디코더-온리 트랜스포머(Decoder-only Transformer) 구조를 기반으로 해요. 텍스트 대신 시계열 수치 데이터를 토큰처럼 처리하는 거예요. 이게 뭐냐면, GPT가 이전 단어들을 보고 다음 단어를 예측하는 것처럼, TimesFM은 이전 시점의 값들을 보고 다음 시점의 값을 예측하는 구조라고 이해하시면 돼요.

16K 컨텍스트 윈도우라는 건 한 번에 볼 수 있는 과거 데이터의 길이가 16,000 포인트라는 뜻이에요. 예를 들어 시간별 데이터라면 약 1.8년치, 일별 데이터라면 약 44년치를 한 번에 입력으로 넣을 수 있어요. 이전 버전이 512나 1024 정도의 컨텍스트를 지원했던 것에 비하면 엄청난 확장이죠. 긴 주기의 계절성(seasonality)이나 장기 트렌드를 파악하는 데 큰 도움이 돼요.

2억 파라미터라는 규모는 LLM 기준으로는 아주 작은 편이지만, 시계열 모델로서는 상당히 큰 편이에요. 텍스트와 달리 시계열 데이터는 차원이 낮기 때문에(숫자 시퀀스니까요) 적은 파라미터로도 복잡한 패턴을 충분히 학습할 수 있거든요. 그래서 GPU 한 장으로도 추론이 가능한 실용적인 크기를 유지하면서도 성능은 높은 균형점을 잡은 거예요.

기존 방식과 뭐가 다른가요?

전통적인 시계열 예측 방식들과 비교해볼게요.

통계 모델(ARIMA, ETS 등)은 단일 시계열에 대해 개별적으로 피팅해야 하고, 데이터가 정상성(stationarity)을 만족해야 하는 등 전제 조건이 까다로워요. Prophet은 Meta가 만든 도구로 사용이 편하지만, 역시 개별 시계열마다 학습이 필요해요. 딥러닝 모델(N-BEATS, TFT 등)은 여러 시계열을 한 번에 학습할 수 있지만, 도메인별로 데이터를 모아서 학습시켜야 하죠.

TimesFM은 이런 과정 없이 학습된 모델에 바로 데이터를 넣으면 예측값이 나오는 구조예요. 이걸 zero-shot forecasting이라고 하는데, 마치 번역 모델을 따로 학습하지 않아도 LLM이 번역을 해주는 것과 비슷한 패러다임이에요.

경쟁 모델로는 Salesforce의 Moirai, Amazon의 Chronos, 그리고 Nixtla의 TimeGPT 같은 것들이 있어요. 시계열 파운데이션 모델이라는 카테고리 자체가 2024년부터 본격적으로 형성되기 시작했는데, 구글이 여기에 뛰어들면서 경쟁이 더 뜨거워지고 있어요.

한국 개발자에게 주는 시사점

한국에서 시계열 예측이 중요한 분야를 생각해보면 정말 많아요. 이커머스 수요 예측, 금융 리스크 모델링, 제조업 설비 이상 탐지, 에너지 수요 예측 등등. 지금까지는 이런 각 분야마다 데이터 사이언티스트가 커스텀 모델을 만들어왔는데, TimesFM 같은 파운데이션 모델이 성숙해지면 빠른 프로토타이핑이 훨씬 쉬워질 거예요.

특히 "데이터는 있는데 모델링 전문가가 없어서" 시계열 예측을 못 하던 중소 팀이나 스타트업에게 큰 기회가 될 수 있어요. GitHub에 코드가 공개돼 있으니, 관심 있는 분들은 자기 도메인 데이터로 한번 테스트해보는 걸 추천드려요. zero-shot 성능이 도메인에 따라 어느 정도인지 직접 확인해보는 게 가장 좋은 평가 방법이니까요.

정리하면

LLM 혁명이 텍스트를 넘어 시계열 데이터로 확장되고 있고, 구글의 TimesFM은 그 흐름에서 가장 주목할 만한 오픈소스 모델 중 하나예요. 시계열 예측 업무를 하고 계신 분들, 기존 방식 대비 zero-shot 파운데이션 모델의 성능이 어떻게 느껴지시는지 경험을 나눠주세요.