Baguan-TS: 共変量を用いた時系列予測のためのシーケンス固有のインコンテキスト学習モデル

要旨: トランスフォーマーは、時系列予測における迅速な勾配フリー適応の文脈内学習（ICL）を可能にしますが、多くのICLスタイルのアプローチは表形式化された手作り特徴量に依存し、エンドツーエンドのシーケンスモデルは推論時の適応を欠いています。私たちは、生のシーケンス表現学習をICLと統合する統一フレームワーク Baguan-TS を提案します。これは、時間軸・変数軸・文脈軸を同時に参照する3Dトランスフォーマーによって実装されます。この高容量モデルを実用的にするために、2つの主要なハードルに対処します。 (i) キャリブレーションと訓練の安定性は、特徴量に依存しないターゲット空間検索ベースの局所キャリブレーションによって改善します。 (ii) 出力のオーバースムージングは、文脈過適合戦略によって緩和します。 共変量を用いた公開ベンチマークでは、Baguan-TS は確立されたベースラインを一貫して上回り、最も高い勝率を達成するとともに、点予測および確率的予測指標の双方で有意な低減を示します。 さらに、さまざまな実世界のエネルギー系データセットにわたる評価は、その頑健性を示し、顕著な改善をもたらします。