確率的勾配降下法（SGD）における共分散行列推定をバイアス低減で洗練する
arXiv stat.ML / 2026/4/24
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、SGD（確率的勾配降下法）に対するオンライン推論および漸近共分散推定を扱い、プラグイン推定量やバッチ手法など既存手法の限界に焦点を当てています。
- 従来の方法は、2階情報（ヘッセ行列など）が得られないか、あるいは収束が遅いという問題があります。
- 著者らは、2階微分を一切必要としない、完全にオンラインな脱バイアス（バイアス低減）共分散推定器を提案しています。
- 提案手法は、収束率 n^((α-1)/2) * sqrt(log n) を達成し、ヘッセ行列を使わない既存の代替手法より推定精度が高いと報告されています。
- まとめると、本研究は2階計算を不要にしつつSGDでの共分散推定をより高精度かつ効率的に行う道を示しています。
