自己教師あり表現学習のためのGaussian Joint Embeddings

概要: 自己教師あり表現学習はしばしば、潜在空間においてコンテキスト視点とターゲット視点を整合させるために決定論的な予測アーキテクチャに依存します。多くの設定では有効ですが、平方損失による予測は条件付き平均へと崩壊しやすく、さらに表現崩壊を防ぐために建築上の非対称性に依存しがちなため、真にマルチモーダルな逆問題においては限界があります。本研究では、生成的ジョイントモデリングに基づく確率的な代替手法を提案します。文脈（コンテキスト）表現とターゲット表現の同時密度をモデル化する Gaussian Joint Embeddings（GJE）と、そのマルチモーダル拡張である Gaussian Mixture Joint Embeddings（GMJE）を導入し、ブラックボックスの予測を、明示的な確率モデルの下での閉形式の条件付き推論に置き換えます。これにより、潜在幾何を制御するための共分散を考慮した目的関数と、原理に基づく不確実性推定が得られます。さらに、単純な経験的バッチ最適化の失敗モードを特定し、Mahalanobis Trace Trap（マハラノビス・トレース・トラップ）と名付けます。そして、プロトタイプベースのGMJE、条件付き Mixture Density Networks（GMJE-MDN）、トポロジー適応型 Growing Neural Gas（GMJE-GNG）、Sequential Monte Carlo（SMC）メモリバンクなど、パラメトリック、適応的、非パラメトリックの各設定にまたがる複数の対処法を開発します。加えて、標準的なコントラスト学習が、GMJEフレームワークにおける退化した非パラメトリックな極限ケースとして解釈できることを示します。合成のマルチモーダル整合タスクおよび視覚ベンチマークでの実験により、GMJEが複雑な条件付き構造を復元し、競争力のある識別的表現を学習し、さらに潜在密度が、決定論的または単峰性のベースラインよりも無条件サンプリングに適したものになることを確認します。