潜在分布マッチングによる自己教師あり学習の理解

Abstract

自己教師あり学習（SSL）は、複雑なデータから汎用的な潜在表現を見つけることに優れている一方で、既存の多様な手法を説明し、新しい手法の設計を導く統一的な理論的枠組みが欠けています。私たちはSSLを潜在分布マッチング（LDM）として定式化します。すなわち、（アラインメントとして）仮定した潜在モデルの下で表現の対数確率を最大化する学習を行い、さらに（ユニフォミティとして）崩壊を防ぐために潜在エントロピーを最大化します。この見方により、独立成分分析を、コントラスト型、非コントラスト型、および予測型のSSL手法（stop gradientアプローチを含む）と統一的に結び付けます。LDMを活用して、非線形でサンプリング不要のベイズフィルタリングモデルを導出し、高次元時系列に対してKalmanベースの予測器を組み込みます。さらに、予測LDMが、穏やかな仮定のもとで、非線形予測器を用いた場合でも、同定可能な潜在表現を与えることを証明します。総じて、LDMは既存のSSL手法に内在する仮定を明確化し、新しいアプローチを開発するための原理に基づく指針を提供します。