補間学習におけるスペクトル輸送安定性と良性の過剰適合

要旨: 統計的学習における内挿（interpolating）領域での一般化のための理論的枠組みを開発します。中心となる問いは、なぜ非常に過剰パラメータ化された推定器が経験的リスクをゼロに到達し得る一方で、それでもなお非自明な予測精度を達成できるのか、そして良性の過学習と破壊的な過学習との境界をどのように特徴づけるのか、という点です。私たちはスペクトル輸送（spectral-transport）安定性の枠組みを導入し、過剰リスクを、データ分布のスペクトル幾何学、単一サンプル置換に対する学習規則の感度、およびラベルノイズの整列（alignment）構造の3点を同時に用いて制御します。これにより、内挿推定器のための単一の複雑さパラメータとして、有効次元、輸送安定性、ノイズ整列を統合するスケール依存のFredriksson指数が得られます。有限サンプルのリスク境界を証明し、許容されるスペクトル・スケールに沿った指数の消失を通じて鋭い良性過学習の判定基準を確立し、さらに多項式的なスペクトル減衰の下での明示的な相転移（phase-transition）レートを導出します。モデル固有の特殊化として、多項式スペクトルに対する線形内挿についての明示的な定理を得るとともに、得られるレートの証明も提示します。加えて、この枠組みは最適化ダイナミクスが最小のスペクトル輸送エネルギーをもつ内挿解をどのように選択し得るかを示すことで、暗黙の正則化（implicit regularization）を明らかにします。これらの結果は、アルゴリズム的安定性、ダブルディセント（double descent）、良性過学習、演算子論的学習理論（operator-theoretic learning theory）、および暗黙バイアス（implicit bias）を、現代の内挿に関する統一された構造的説明のもとで結びつけます。