マルチモーダル能力の定量化：ペアワイズ距離学習における形式的な汎化保証

要旨: 多モーダル学習は、複数のデータモダリティを統合することで、複雑なタスクにおける性能を高めることを可能にします。しかし、現実世界の状況では、不完全または冗長なモダリティデータに頻繁に遭遇します。本論文では、多モーダル計量学習モデルの一般化特性に関するきめ細かな理論的分析を提示し、モダリティ選択とアルゴリズム性能の関係に関する理解の重要な欠落に取り組みます。異なるモダリティ部分集合に対応する関数クラス間の階層的関係を確立し、学習された写像と真の値（ground truth）との不一致を定量化します。さらに、多モーダル学習の枠組みにおけるペアごとの複雑性を厳密に解析することで、モダリティの数量と粒度がモデル性能に及ぼす共同の影響を明らかにする新しい一般化誤差の上界（一般化誤差境界）を導出します。上界と下界の両方に関する本理論的発見は、きめ細かなモダリティ特徴を取り入れることで、モダリティの補完性が高まり、仮説空間の複雑性が低減されることを示しています。本研究は、多モーダル学習システムにおける収束率と精度を改善するための理論的基盤と実践的示唆の両方を提供します。