EnTransformer: 多変量確率的予測のための深層生成型トランスフォーマー

信頼性の高い不確実性定量化は、エネルギーシステムや交通ネットワークなど、さまざまな分野で発生する多変量時系列予測問題において極めて重要です。最近、トランスフォーマーべースのアーキテクチャは系列モデリングで高い性能を達成していますが、ほとんどの確率的予測手法は制限的なパラメトリック尤度や分位点ベースの目的を前提としています。これらは、複数の相関する時系列にまたがる複雑な結合予測分布を捉えるのが難しいことがあります。本研究では、engression（条件付き分布をモデリングするための確率的学習パラダイム）をTransformerの表現力豊かな系列モデリング能力と統合した深層生成予測フレームワークであるEnTransformerを提案します。提案手法は、モデル表現に確率的ノイズを注入し、エネルギーベースのスコアリング目的を最適化して、パラメトリックな仮定を課さずに条件付き予測分布を直接学習します。この設計により、Transformerの長距離の時系列依存性と系列間の相互作用を効果的にモデル化する能力を維持しつつ、整合性のある多変量予測軌道を生成できるようになります。我々は、Electricity、Traffic、Solar、Taxi、KDD-cup、Wikipediaデータセットを含む、多変量確率的予測のための広く用いられているいくつかのベンチマークで提案手法を評価しました。実験結果は、EnTransformerが適切にキャリブレーションされた確率的予測を生成し、ベンチマークモデルを一貫して上回ることを示しています。