Chronosの解剖：疎結合オートエンコーダが時系列基盤モデルにおける因果特徴階層を明らかにする
arXiv cs.AI / 2026/3/12
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 著者らは Chronos-T5-Large の活性化を6層にわたり TopK Sparse Autoencoders に適用し、時系列基盤モデルにおける表現を研究している。
- 392件の単一特徴アブレーション実験を通じて、削除された各特徴が CRPS の劣化を引き起こすことを示し、個々の特徴の因果的関連性を示唆している。
- 深さ依存の階層を明らかにする：初期層は低レベルの周波数特徴をエンコードし、中間層は急激な変化を検出して強い因果的重要性を持ち、最終層はより広範なタキソノミーを圧縮するが因果的影響は小さい。
- 中間エンコーダには最も重要な特徴が含まれている（最大 Delta CRPS = 38.61）、一方で最終エンコーダのアブレーションは予測品質を予期せず改善することがある。
- これらの知見は、機械的解釈可能性をTSFMsへ効果的に転移することを示し、Chronos-T5 は周期的パターン認識よりも急激なダイナミクス検出に依存していることを示唆している。
時系列基盤モデル（TSFMs）は重要な領域での適用が進んでいるが、その内部表現は依然として不透明である。我々は、TSFMへの疎化オートエンコーダ（SAE）の初めての適用を報告し、Chronos-T5-Large（710Mパラメータ）の6層にわたる活性化にTopK SAEsを訓練した。392件の単一特徴アブレーション実験を通じて、削除されたすべての特徴が正のCRPS劣化をもたらすことを確認し、因果的関連性を確証する。我々の分析は深さ依存の階層を明らかにする。初期のエンコーダ層は低レベルの周波数特徴をエンコードし、中間エンコーダは因果的に重要な変化検出特徴を集約し、最終エンコーダは豊かながら因果的には重要性の低い時系列概念のタキソノミーを圧縮する。最も重要な特徴は中間エンコーダに存在し（最大単一特徴 Delta CRPS = 38.61）、意味的に最も豊かな最終エンコーダ層にはなく、段階的なアブレーションは予測品質を予期せず改善することがある。これらの知見は機械的解釈可能性がTSFMへ効果的に転移することを示し、Chronos-T5 が周期的パターン認識よりも急激なダイナミクス検出に依存していることを示唆している。
