手遅れになるほどのリッジ？負の正則化による過度な縮小（オーバーシュリンク）の補正

arXiv stat.ML / 2026/4/21

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

通常の正則化は分散を抑えるためのものだが、小データ回帰では、予測に有効な信号が制限された表現の「弱い方向」に集中している場合に、アンダーフィットをむしろ悪化させ得る。
本研究では、推定量が適切に定義される条件の下で負の値も許容できる「負に対応したリッジ」族を考察する。
その負の領域では、負の正則化が制御されたアンチ・シュリンクとして働き、弱い固有方向において最も強く有効な複雑さを増大させる。
研究では「弱いスペクトル」によるアンダーフィットを形式化し、保守的なベースラインの縮小下で符号が切り替わる（sign-switch）結果を導出し、負を含む族全体に対して基準に基づく自動選択も扱う。
合成および準合成データの実験により、負の領域の実現可能性、有効複雑さのスペクトル的増大、符号切り替え挙動、予測が適切な領域での負の調整の回復といった理論的主張が裏付けられる。

抽象: 従来の正則化は分散を制御するために設計されているが、小標本の回帰では、予測信号が制限された表現の弱い方向に集中している場合、過小適合をさらに悪化させることもある。われわれは、推定量が良好に定義され続ける限り実行可能な負領域を許す負能力（negative-capable）リッジ族を研究し、負の正則化がそこで制御された反縮約（anti-shrinkage）として作用し、弱い固有方向に沿って最も強く有効な複雑性を増大させることを示す。この仕組みに基づいて、弱スペクトル（weak-spectrum）における過小適合を形式化し、保守的なベースライン縮約の下で符号スイッチの結果を導出し、負能力の全族にわたる基準（criterion）に基づく自動選択を研究する。合成および準合成の実験により、実行可能性、スペクトル複雑性の増加、符号スイッチ挙動、ならびに予測される領域における負の調整の有効な回復について、理論が支持される。