時系列基盤モデルのためのバイレベル異種学習：連合学習アプローチ

Abstract

時系列データにおける異質性は、視覚や言語よりも一層顕著です。というのも、時間的ダイナミクスはドメインやタスクによって大きく異なるからです。時系列の基盤モデル（TSFM）をスクラッチから学習する既存の取り組みでは、多くの場合、大規模データセットを混ぜ合わせたミックスバッチ戦略で学習が行われますが、これは勾配の競合を引き起こし、表現品質を低下させ得ます。そこで本研究では、異質な系列から不変の知識を蒸留しつつ、ドメイン間の干渉を抑えるきめ細かな学習手法を提案します。異質性を2つのレベル、すなわちドメイン間およびドメイン内で特徴づけます。これらのバイレベルな異質性に対処するために、連合学習の手法を設計します。ローカル正則化によってドメイン不変で意味的に一貫した表現を強制し、ドメイン内の競合を緩和します。また、ドメインに応じた集約によりドメイン間の協調を強化することで、ドメイン間の食い違いに対処します。多様なベンチマークにわたる実験では、本手法で学習したTSFMが、点予測および確率予測のいずれにおいても、集中型および連合型のTSFMベースラインの両方を一貫して上回ることが示されました。さらに大規模環境において、ゼロショット性能でも競争力のある結果を達成しており、異質な環境でスクラッチからTSFMを学習するための柔軟な道筋を提供します。