Shrinkage to Infinity：線形モデルにおける最小ノルム補間器を拡張してテスト誤差を減らす

要旨: Hastieら（2022）は、等方的な共変量 x
i \,\mathbb{R}^d と、固定した d/n のもとで n 個のサンプルを持つ高次元線形回帰 y=\beta^T x + \epsilon において、リッジ正則化が本質的であることを見いだした。しかしHastieら（2022）はまた、共変量が異方的であり、かつ \beta が母集団共分散の上位固有値に整列している場合、「状況は質的に異なる」ことにも言及している。本論文では、こうした観察を、非常に異方的な共分散と、発散する d/n を伴う線形回帰について精密化する。理論的にも経験的にも、最小 \ell_2 ノルム・インターポレータを 1 より大きい定数で単にスケールアップ（あるいは膨張）させるだけで、汎化誤差を改善できることを見いだす。これは、従来の正則化／縮小の処方とは鋭く対照的である。さらに、データ分割の手法を用いて、最適に膨張させた最小ノルム・インターポレータと同等の汎化誤差を達成する、整合的（consistent）な推定量を得る。我々の証明は、d/n\rightarrow\infty のときに、異方的な共分散行列の一般的なクラスに対するガウスランダム射影の期待値についての上界と下界を一致させることに依拠している。