時系列モデリングにおける確率的トランスフォーマの可能性を探る：ST-PTフレームワークの報告

arXiv cs.LG / 2026/4/30

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文では、Probabilistic Transformer（PT）が、Transformerの自己注意＋フィードフォワードをCRF上でのMean-Field Variational Inference（MFVI）に数学的に対応づけることで、モデルがブラックボックスではなく“プログラム可能な因子グラフ”になると主張しています。
時系列への適用に向けて著者らは、PTの欠けているチャネル軸と弱い1ステップごとの意味付けを補うためにSpatial-Temporal Probabilistic Transformer（ST-PT）を提案し、ST-PTを共通のバックボーンとして位置づけています。
ST-PTの有用性は、因子グラフの3つの性質（トポロジー／ポテンシャルの直接的なプログラム可能性、外部条件で因子行列をサンプルごとに制御して生成を構造として行う可能性、MFVI反復を事後更新として扱える点）に整理されています。
各研究課題に対応して1つずつ実験的検討を示し、ST-PTを、データ不足・ノイズ、予測での誤差の累積といった課題にも対処しうる、制御可能で設計しやすい確率的時系列モデリングの枠組みとして位置づけています。