開示：筆頭著者。
この論文はちょうどTMLRで公開されたところで、ここにいる方の中で興味を持つ人がいるかもしれないと思いました。数学的にはかなり密ですが、概念的には素直です。非コントラスト表現学習のための共同埋め込み（joint-embedding）アーキテクチャに、操作的（operational）な変分意味論を追加するために、私たちは3つの結びついた選択を行います：
- 埋め込み尤度の因数分解： 尤度は方向項と半径（半径方向）項に分割されるため、角度の整合と表現のノルムを別々にモデル化します。半径／ノルム項だけでは単独で精度を押し上げることはありませんが、この因数分解により、そうしない場合に生じるノルム‐方向の結合による病的な解（pathological solutions）を回避できます。
- アンカー事後／尤度の不確実性： 事後分散を尤度のスケールに結びつけることで、不確実性が推論と埋め込み尤度の両方を直接支配します。
- 裾の重い（heavy-tailed）尤度を使用： 尤度にはガウスではなくStudent-tの形を用います。これは実験的に重要です。尤度がガウス極限に近づくと、学習が不安定になり、モデルが壊滅的に（catastrophically）失敗するからです。
これらにより、モデルは異方的／特徴ごとの不確実性を学習できます。この不確実性は、下流のOOD検出の実験で評価されます。VI-SimSiam に対する比較も含まれます。
arXiv | OpenReview | Code
[リンク] [コメント]
