PDMP：性能支配的モダリティ優先によるバランス型マルチモーダル学習の再考

Abstract

マルチモーダル学習は、その実用性ゆえにますます注目を集めています。しかし、この分野ではしばしば最適化が不十分であるという問題が起きており、マルチモーダルモデルが単一モーダルの対比相手よりも性能が劣ることさえあります。既存の手法は、この問題をモダリティ間の学習の不均衡に起因するとし、勾配調調整（gradient modulation）によって解決します。本論文では、マルチモーダル学習において「バランスの取れた学習」は最適な設定ではないと主張します。むしろ、単一モーダルとして優れた性能を持つ「性能支配的なモダリティ」によって駆動される不均衡な学習は、より良いマルチモーダル性能につながり得ます。そして、アンダー最適化（under-optimization）の問題は、性能支配的なモダリティの学習が不十分であることにより引き起こされます。そこで本論文では、マルチモーダル学習を支援するためのPerformance-Dominant Modality Prioritization（PDMP）戦略を提案します。具体的には、PDMPはまず、独立に学習した単一モーダルモデルの性能ランキングを通じて、性能支配的なモダリティをマイニングします。次にPDMPは、各モダリティの勾配を調調整するために非対称な係数を導入し、性能支配的なモダリティが最適化を支配できるようにします。PDMPは単一モーダルの性能ランキングのみに依存するため、マルチモーダルモデルの構造や融合手法に依存せず、実運用のシナリオにおいて大きな可能性を持ちます。最後に、さまざまなデータセットに対する大規模な実験により、PDMPの優位性が検証されます。