表現学習における統計的および構造的識別性

要旨: 表現学習モデルは内部表現において驚くべき安定性を示す。従来の多くの研究がこの安定性を単一の性質として扱うのに対し、我々はそれを二つの異なる概念として形式化する。統計的識別性（実行間の表現の一貫性）と構造的識別性（表現と未観測の真の基底との整合性）である。現代の表現学習モデルにおいて点ごとの完全な識別性が一般に現実的でないことを認識し、誤差許容度εまでの統計的および構造的近似識別性を、モデル非依存の定義として提案する。これらの定義を活用し、非線形デコーダを持つモデルの表現に対する統計的ε近似識別性の結果を証明し、識別性理論を最後の層表現の領域を超え、例えば生成型事前学習型トランスフォーマー（GPTs）などの既存の識別性理論を、中間表現の近似識別性へと拡張する。これには（マスク付き）オートエンコーダ（MAEs）や教師あり学習者を含む広いクラスのモデルの中間表現が含まれる。これらの弱い仮定は識別性を弱めるが、ICA（独立成分分析）はこのクラスのモデルの残りの線形の曖昧さの多くを解消できることを示し、近似識別性の主張を経験的に検証・評価する。データ生成過程に対する追加の仮定の下で、統計的識別性は構造的識別性へ拡張され、潜在表現のICA後処理という、実践的で簡潔なディスエンタングルメントのレシピを提供する。合成ベンチマークでは、このアプローチは素のオートエンコーダーを用いて最先端のディスエンタングルメントを達成する。細胞顕微鏡用のファウンデーションモデル規模のMAEを用いると、生物学的な変動を技術的バッチ効果から分離し、下流の一般化を大幅に改善した。