UniCon：カーネルによる効率的なコントラスト整合のための統一フレームワーク

arXiv cs.LG / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文では、カーネルベースの定式化を用いてマルチモーダルモデルのコントラスト整合を高速化する統一フレームワーク「UniCon」を提案しています。
UniConはコントラスト類似度の重み行列S(γ)を定義し、ミニバッチのバックプロパゲーションを置き換えるクローズドフォームのグローバル解（厳密な更新）を可能にします。
再現核付きヒルベルト空間（RKHS）の観点からアプローチが説明され、コントラスト整合とスペクトル手法との関係が明らかにされています。
合成データ、単一モーダル、マルチモーダル、ゼロショットの各設定での実験により、UniConが効率を大きく改善しつつ、汎用性と強い実証性能を維持することが示されています。

Abstract

対照的目的関数（contrastive objectives）は最先端のマルチモーダルモデルを支えていますが、その学習は長い確率的最適化に依存するため依然として遅いままです。そこで本論文では、カーネルによる効率的な対照的整合（contrastive alignment）のための統一フレームワーク（UniCon）を提案します。UniConは、線形および非線形エンコーダ、ならびに1対1および多対多の整合を幅広く対象とします。中心となるのは、対照的類似度重み行列

S(gamma)

を導入することであり、これによりミニバッチの逆伝播を、厳密な更新で置き換えることを理論的に保証できる閉形式の大域解を可能にします。再生核ヒルベルト空間（RKHS）の観点から見ると、UniConは対照的整合をカーネル化した視点で統一し、それがスペクトル手法と結び付くことを明らかにします。理論を検証するために、合成データ、単一モーダル、マルチモーダル、およびゼロショット課題に対して実験を行い、その結果、UniConが汎用性と強い経験的性能を維持しつつ、大幅な効率向上を達成することを示します。