モダリティ・ギャップはバグか機能か？頑健性の観点から

アブストラクト: 多くの現代的なマルチモーダルモデル（例: CLIP）は、2つのモダリティが整列している埋め込み空間を目指します。やや意外なことに、ほぼすべての既存モデルは強いモダリティギャップを示します。すなわち、共有する埋め込み空間において、画像の分布はテキストの分布からうまく分離されています。この話題に関する一連の近年の論文にもかかわらず、そのギャップがなぜ存在するのか、また事後処理でギャップを埋めることで下流タスクの性能が向上するのかは、いまだ明確ではありません。本論文では、ある条件のもとでコントラスト損失を最小化すると、2つのモダリティがそれぞれの埋め込みに直交する大域的なギャップベクトルによって隔てられた表現が得られることを示します。さらに、これらの条件のもとではモダリティギャップがロバスト性と単調に関係していること、すなわちギャップを小さくしてもモデルのクリーン精度は変わらない一方で、埋め込みが摂動されたときにモデルの出力が変わってしまう可能性が低くなることを示します。実験の結果、多くの現実のVLMに対して、いずれか一方のモダリティを他方のモダリティの平均へ近づけるという単純な事後処理ステップによって、クリーン精度の損失なしにロバスト性を大幅に高められることを確認しました。