非線形独立成分分析の有限サンプル解析：サンプル複雑度と識別可能性の限界

要旨: 独立成分分析（ICA）は、混合された信号をそれらの独立した元の信号へと分離することで、データに潜む構造を明らかにするための基礎的な教師なし学習手法である。非線形ICAに関して漸近的な識別可能性の保証を確立する上で大きな進展がなされてきた一方で、学習アルゴリズムの有限標本における統計的性質はいまだ十分に理解されていない。このギャップは、信頼できるソース復元のための適切なサンプルサイズを決定しなければならない実務者にとって、重大な課題となる。本論文は、ニューラルネットワークエンコーダを用いた非線形ICAの包括的な有限標本解析を提示し、上限と下限が一致する形での初めての完全な特性付けを与える。理論的な展開では、3つの主要な技術的貢献を導入する。第一に、パラメータ空間の議論を迂回し、過剰リスクと識別誤差の間の直接的な関係を確立することで、そうであれば生じていたであろうレート劣化を回避し、その結果として最適でないスケーリングを防ぐ。第二に、我々のサンプル複雑性の結果が最適であることを裏付ける、対応する情報理論的な下限を証明する。第三に、実用的なSGD最適化へと解析を拡張し、標準的なランドスケープ仮定の下で有限反復の勾配降下法でも同じサンプル効率が達成できることを示す。我々は、入念に設計されたシミュレーション実験によって、理論的予測を検証する。このギャップは、ニューラルネットワーク学習の有限標本における挙動に関する価値ある将来研究を示唆するとともに、次元と多様性に対する、検証済みのスケーリング則の重要性を強調する。