BALM: 不均衡な欠損率下でのバランスのとれたマルチモーダル学習のためのモデル非依存フレームワーク

要約：複数のモダリティから学習することは、情報量が豊富なモダリティが最適化を支配し、弱いモダリティや部分的に欠損しているモダリティの寄与が少なくなるという不均衡にしばしば悩まされます。この不均衡は、欠損率が不均衡な現実的な設定、すなわち各モダリティが異なる確率で欠落するIMR（Imbalanced Missing Rate）の下で深刻化し、表現学習と勾配ダイナミクスを歪めます。我々はこの問題をトレーニング過程の観点から再検討し、IMR下でバランスの取れた多モーダル学習を実現するモデルアグノスティックなプラグインフレームワーク BALM を提案します。フレームワークは、二つの補完的なモジュールから構成されます：特徴キャリブレーションモジュール（FCM）は、グローバルコンテキストを用いて単一モダリティの特徴を再キャリブレーションし、異種の欠損パターンにまたがる共有表現基盤を確立します；勾配リバランシングモジュール（GRM）は、分布的視点と空間的視点の両方から勾配の大きさと方向を調整することにより、モダリティ間の学習ダイナミクスを均衡させます。 BALM は、アーキテクチャを変更することなく、マルチモーダル感情認識（MER）モデルを含む多様なバックボーンへシームレスに組み込むことができます。複数のMERベンチマークにおける実験結果は、 BALM が一貫して頑健性を高め、さまざまな欠損と不均衡の設定下でパフォーマンスを向上させることを確認しています。コードは以下のリンクで入手可能です: https://github.com/np4s/BALM_CVPR2026.git