ガウス線形回帰におけるアーリー・ストッピングのためのシャープなリスク境界
arXiv stat.ML / 2026/4/29
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、任意の凸集合上での当てはめ誤差（in-sample 平均二乗誤差）の最小化を目的として、高次元ガウス線形回帰に対する早期停止付きミラー降下法（ESMD）を解析する。
- 著者らは、局所ガウス幅に基づく最小二乗推定量（LSE）のシャープなリスク境界が、追加の条件の下で ESMD にも拡張できることを示す。
- ESMD の「ポテンシャル」（ミンコフスキー汎関数で表される）に関する十分条件を導出し、その条件がリスク保証を成立させることを明らかにする。
- これらの条件を用いて新しいポテンシャルを構成し、ESMD と LSE を体系的に比較するとともに、
- l1 制約付き設定でこれまでで最もタイトな既知のリスク境界を得る。
- さらに、ESMD がミニマックス最適となる一般的な基準を提示し、早期停止が推定の最適レートに到達し得る状況を整理する。
