時系列におけるマルチモーダル融合を再考する：補助モダリティには制約付き融合が必要

要旨: 近年のマルチモーダル学習の進展により、テキストや視覚などの補助モダリティを時系列（TS）予測に統合することが動機づけられてきました。しかし、既存のほとんどの手法では得られる改善は限定的であり、多くの場合、特定のデータセットでのみ性能が向上するか、あるいは汎化を制限するアーキテクチャ固有の設計に依存しています。本論文では、単純な融合戦略（例: 単純な加算や連結）を用いる素朴な融合のマルチモーダルモデルは、しばしば単一モダリティのTSモデルよりも性能が劣ることを示します。これを、補助モダリティの統合が制御されておらず、無関係な情報を導入してしまうことに起因すると考えます。この観察に動機づけられ、そうした統合を制御するために設計されたさまざまな制約付き融合手法を検討し、それらが一貫して素朴な融合手法よりも優れていることを見いだします。さらに、TSバックボーンを変更せずに制御されたクロスモーダル相互作用を可能にするシンプルなプラグイン手法である Controlled Fusion Adapter（CFA）を提案します。CFAは、TSのダイナミクスに整合した関連するテキスト情報のみを統合します。CFAは、低ランクのアダプタを用いて、融合の前に無関係なテキスト情報をフィルタリングし、それを時間表現へと取り込みます。さまざまなデータセットおよびTS/テキストモデルに対して20,000件を超える実験を行い、CFAを含む制約付き融合手法の有効性を示します。コードは以下で公開されています: https://github.com/seunghan96/cfa/