Calibrated Principal Component Regression（校正付き主成分回帰）
arXiv stat.ML / 2026/4/27
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、過剰パラメータ化された状況における一般化線形モデルのための推論手法として、Calibrated Principal Component Regression（CPCR）を提案する。
- CPCRは、PCRの主な欠点である切り捨て（truncation）バイアスを、主成分サブスペース内で低分散の事前分布を学習し、その後オリジナルの特徴空間へ戻して中心化Tikhonovステップで校正することで軽減する。
- CPCRはクロスフィッティングを用い、PCRの「ハードカットオフ」を緩めることで切り捨てバイアスをより適切に制御する。
- ランダム行列レジームでのアウト・オブ・サンプルリスクを理論的に評価し、真の回帰信号に低分散方向の成分が無視できない場合にCPCRが標準PCRより優れることを示す。
- 複数の過剰パラメータ化問題での実験により、CPCRが予測性能を一貫して改善し、安定性と柔軟性を持つことが確認される。
