InfoNCE における Langevin ベースの温度アニールの漸近的および有限時間保証

要旨: コントラスト学習における InfoNCE 損失は温度パラメータに極めて依存しますが、固定スケジュールとアニーリングスケジュールの下でのそのダイナミクスは依然として十分には理解されていません。私たちは、コンパクトなリーマン多様体上の Langevin ダイナミクスによる埋め込みの進化をモデル化することにより、理論的な解析を提供します。穏やかな滑らかさとエネルギー障壁の仮定のもとで、古典的なシミュレーテッドアニーリングの保証がこの設定にも拡張されることを示します。温度の逆数を対数的に遅く変化させるスケジュールは、確率的にグローバルに最適な表現の集合へ収束することを保証しますが、より速いスケジュールはサブ最適な局所極小値に閉じ込められるリスクがあります。私たちの結果は、コントラスト学習とシミュレーテッドアニーリングとの間に関連を確立し、温度スケジュールの理解と調整のための体系的な根拠を提供します。