Towards Neural Scaling Laws for Time Series Foundation Models

目次

Towards Neural Scaling Laws for Time Series Foundation Models#

時系列基盤モデルにおいても、LLMと同様にNeural Scaling Lawsが働くのか否か？を包括的な実験で示した論文の紹介資料です。

主な結果は以下の通りです。

  • LLMと同様に、モデルサイズ・データサイズ・計算リソースに応じて、指数的なスケーリング則が観察された

  • In-Distribution(ID)/Out-of-Distribution(OOD) データのいずれにおいてもスケーリング則がみられた

  • ネットワーク構造（Encoder-only, Decoder-only）の影響は微小

  • MoiraiやChronosに存在する、専用にチューニングされたアーキテクチャー設計はIDデータに対する性能を向上させるが、OODデータに対しては悪影響を及ぼしうる

PDFを開く

参考文献#

  • Yao, Qingren, et al. "Towards neural scaling laws for time series foundation models." arXiv preprint arXiv:2410.12360 (2024).

目次