ITS-Mina：Harris Hawks 最適化に基づく反復的洗練と外部アテンションを備えた多変量時系列予測のオールMLPフレームワーク

要旨: 多変量時系列予測は、金融分析、エネルギー管理、交通計画など、多くの実世界のアプリケーションにおいて重要な役割を果たしています。Transformerベースのアーキテクチャはこの課題で人気を得てきましたが、近年の研究では、より単純なMLPベースのモデルが、計算コストを大幅に抑えながら、競争力のある、あるいはそれを上回る性能を達成できることが示されています。本論文では、多変量時系列予測のための新しい全MLPフレームワークであるITS-Minaを提案します。ITS-Minaは、3つの主要な革新を統合しています: (1) 反復的な改良メカニズムにより、共有パラメータの残差ミキサスタックを繰り返し適用することで時間表現を段階的に強化し、異なるパラメータ数を増やすことなくモデルの計算能力を実質的に深めること。 (2) 従来の自己注意を、学習可能なメモリユニットに置き換える外部注意モジュールにより、線形計算量でサンプル間のグローバルな依存関係を捉えること。 (3) Harris Hawks Optimization（HHO）アルゴリズムによるドロップアウト率の自動チューニングにより、各データセットに合わせて適応的に正則化を行うこと。6つの広く利用されているベンチマークデータセットに対する大規模な実験により、ITS-Minaは、複数の予測ホライゾンにおいて、11のベースラインモデルと比較して最先端または非常に競争力の高い性能を達成することが示されます。