Joint Embedding Variational Bayes
arXiv stat.ML / 2026/3/31
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この論文では、表現空間における潜在変数の変分定式化を用いる、再構成を行わない（reconstruction-free）・非コントラスト型の自己教師あり学習フレームワーク「Variational Joint Embedding（VJE）」を提案する。
- VJEは、ターゲット埋め込み（target embeddings）上に尤度を直接定義することで、点ごとの適合（pointwise compatibility）を目的とした手法を避け、学習した表現に確率的な意味（probabilistic semantics）を持たせながら、対称な条件付きELBOを最大化する。
- 条件付き尤度は、ターゲット埋め込みの極表現（polar representation）に対して重い裾を持つStudent-t分布でモデル化する。さらに、方向成分–半径成分の分解（directional–radial decomposition）により、角度の整合（angular alignment）と大きさの整合（magnitude consistency）を分離し、ノルム（大きさ）に関連する問題を低減する。
- 式推論（amortized inference）ネットワークは、方向に関する尤度の特徴ごとの分散に結び付けられた不確実性を持つ対角ガウス事後分布（diagonal Gaussian posterior）を生成する。これにより、追加のプロジェクションヘッドなしで異方性（anisotropic）の不確実性を実現する。
- ImageNet-1K、CIFAR-10/100、STL-10での実験により、VJEは線形およびk-NN評価で競争力のある性能を示し、表現空間における尤度を用いることで分布外（out-of-distribution）検出も改善することが示される。
