確率的勾配降下法（SGD）の高速な不確実性定量化のための安価なブートストラップ

arXiv stat.ML / 2026/4/1

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、確率的勾配降下法（SGD）によって得られた解に対して、信頼区間および不確実性推定を構築するための、計算コストの低い2つのリサンプリングベースの手法を提示する。
1つの方法は、置換付きのブートストラップ・リサンプリングを用いて並列に少数のSGDインスタンスを実行し、もう1つの方法はオンライン設定で関連する戦略を適用する。
提案手法は、既存の確立されたブートストラップ手順を改良したものとして再構成し、リサンプリングコストの大幅な削減と、過去の一部のバッチング解析で見られる複雑なミキシング要件の回避を目指している。
著者らは「安価なブートストラップ（cheap bootstrap）」という概念を活用し、SGD向けに調整したベルリー–エッセン型（Berry–Esseen-type）の評価（バウンド）を洗練させることで、統計的保証を正当化する。