Var-JEPA: 結合埋め込み予測アーキテクチャの変分形式 -- 予測型自己教師付き学習と生成型自己教師付き学習を結ぶ

要旨: ジョイント・エンベディング予測アーキテクチャ（JEPA）は、観測空間での再構成よりも表現空間における予測を重視する、尤度ベースの自己教師付き学習に対する非生成的な代替としてよく見られる。私たちは、確率的生成モデリングからのこの分離は構造的というよりも主にレトリックであると主張する。標準のJEPA設計は、文脈からターゲットへの予測子を備えた結合エンコーダであり、特定の結合潜在変数モデルのクラスに対して変分推論が適用されたときに得られる変分後方分布と学習された条件付き事前分布を映し出す。さらに、標準のJEPAは、明示的な尤度よりも建築的および訓練上のヒューリスティクスによって正則化が課される決定論的な特殊化として見ることができる。 この見解に基づき、潜在的生成構造を単一のエビデンス下界（ELBO）を最適化することによって明示化する変分JEPA（Var-JEPA）を導出する。これにより、アドホックな反崩壊正則化子なしに意味のある表現を得るとともに、潜在空間での原理的な不確実性定量化を可能にする。私たちはこのフレームワークを表形式データ（Var-T-JEPA）向けに具体化し、強力な表現学習と下流タスクのパフォーマンスを達成し、T-JEPA を一貫して上回るとともに、強力な生データ特徴ベースラインにも対して競争力を維持する。