スパースアテンション機構を用いた正確で効率的な多チャネル時系列予測

要旨：マルチチャネル時系列予測の課題は、金融、サプライチェーンマネジメント、エネルギー計画など、数多くの分野で一般的に見られる。正確な予測のためには、チャネル内およびチャネル間の複雑な動的依存関係を効果的に捉えることが重要です。しかし、従来の手法はチャネル間の相互作用を学習する際に十分な注目を払ってこなかった。本論文は、チャネル間の線形および非線形の依存関係を捉える新規アーキテクチャ「Linear-Network（Li-Net）」を提案する。Li-Netは、シーケンスとチャネルの次元全体にわたって表現を動的に圧縮し、設定可能な非線形モジュールを通じて情報を処理し、予測を再構築する。さらに、Li-Netはマルチスケール投影フレームワーク内にスパースTop-K Softmaxアテンション機構を統合し、これらの課題に対処する。核となるイノベーションは、マルチモーダル埋め込みをシームレスに組み込み、統合する能力であり、スパースアテンション処理を最も情報量の多い時刻ステップと特徴チャネルに焦点を当てるよう導く。複数の実世界のベンチマークデータセットでの実験結果は、Li-Netが最先端のベースライン手法と比較して競争力のある性能を達成することを示している。さらに、Li-Netは予測精度と計算負荷の間で優れたバランスを提供し、メモリ使用量を大幅に低減し、推論時間を高速化する。詳細なアブレーション研究とパラメータ感度分析は、提案アーキテクチャの各主要コンポーネントの有効性を検証する。
キーワード: 多変量時系列予測、スパースアテンション機構、マルチモーダル情報融合、非線形関係