UniMamba：状態空間モデルとアテンション統合による統一型 空間-時間モデリング枠組み

Abstract

多変量時系列予測は、エネルギー、金融、環境モニタリングなどの多数の分野において基礎となるものであり、複雑な時間的依存関係や変数間の相互作用が、解決しがたい課題として持続しています。既存のTransformerベース手法は注意機構によって時間相関を捉えますが、二次の計算コストという欠点があります。一方、Mambaのような状態空間モデルは効率的な長期コンテキストのモデリングを実現するものの、明示的な時間パターン認識が欠けています。そこで本研究では、効率的な状態空間ダイナミクスと注意ベースの依存関係学習を統合する統一型 空間-時間 予測フレームワーク「UniMamba」を提案します。UniMambaは、FFT-Laplace変換とTCNによって強化されたMambaの変量-チャネルエンコーディング層を用いてグローバルな時間的依存関係を捉え、さらに空間時間注意層で変数間の相関と時間的推移を共同でモデル化します。フィードフォワードな時間ダイナミクス層は、連続的および離散的なコンテキストをさらに統合し、正確な予測を実現します。8つの公開ベンチマークデータセットに対する包括的な実験の結果、UniMambaは予測精度と計算効率の両面において、最先端の予測モデルを一貫して上回り、長系列の多変量時系列予測に対するスケーラブルで頑健な解決策であることが示されました。