生成前の評価：欠落モダリティに対応した頑健なマルチモーダル感情分析のためのパラダイム

要旨: 欠落モダリティ問題は、多モーダル感情分析における根本的な課題であり、現実のシナリオにおいてモデルの精度と汎化能力を大きく低下させます。既存の手法は主に、プロンプト学習と事前学習済みモデルによって頑健性を高めることに取り組んできました。しかし、次の2つの制約が残っています。第一に、欠落モダリティを生成する必要性について、厳密な評価が欠けています。第二に、多モーダルプロンプト間の構造的な依存関係と、そのグローバルな一貫性が十分に検討されていません。これらの課題に対処するために、プロンプトに基づく欠落モダリティ適応（Prompt based Missing Modality Adaptation）フレームワークが提案されます。入力段階にMissing Modality Evaluator（欠落モダリティ評価器）を導入し、事前学習済みモデルと擬似ラベルを用いて欠落モダリティの重要性を動的に評価することで、低品質なデータの補完を回避します。これに基づき、Modality invariant Prompt Disentanglement（モダリティ不変プロンプト分離）モジュールは、共有プロンプトをモダリティ固有のプライベートプロンプトへと分解し、内在する局所相関を捉えて表現の品質を向上させます。さらに、Dynamic Prompt Weighting（動的プロンプト重み付け）モジュールは、クロスアテンション出力に基づいて相互情報量の重みを計算し、欠落モダリティによる干渉を適応的に抑制します。グローバルな一貫性を強化するために、Multi level Prompt Dynamic Connection（マルチレベル・プロンプト動的結合）モジュールは、残差接続を通じて共有プロンプトと自己注意出力を統合し、グローバルなプロンプトの事前知識を活用して重要なガイダンス特徴を強化します。CMU MOSI、CMU MOSEI、CH SIMS を含む3つの公開ベンチマークでの大規模な実験により、提案フレームワークが、欠落モダリティ設定の多様性の下で最先端の性能と安定した結果を達成することが示されています。本実装は https://github.com/rongfei-chen/ProMMA で利用可能です