予測可能な仮想ノイズを用いる確率的勾配降下法（SGD）の情報理論的な一般化境界
arXiv cs.LG / 2026/5/4
💬 オピニオンModels & Research
要点
- 本論文は、学習されたパラメータと訓練データの相互情報量を通じて期待一般化誤差を結び付けることで、確率的勾配降下法（SGD）の情報理論的な一般化境界を導出します。
- 先行研究の「仮想ノイズ」解析を発展させ、現在または将来のランダム性には依存せず、過去のSGD履歴に応じて各反復で摂動共分散を変えられる、予測可能な履歴適応型の仮想摂動を導入します。
- 新しい境界は、条件付き相対エントロピー／条件付きガウスの議論を用い、固定された感度や偏差項を条件付きの適応版に置き換え、さらに蓄積された共分散に基づく出力感度ペナルティを加えます。
- 適応共分散がデータ依存の場合には、局所的なガウス平滑化と大域的な参照カーネル比較を切り分け、実際の適応共分散と異なる許容参照ジオメトリを用いることのKLコスト（共分散比較コスト）を境界に組み込みます。
- 許容される共分散の同期間（同期）ルールが成り立つ場合、固定ノイズ型の既存境界を回復でき、さらにアルゴリズムを変更せずに履歴依存の幾何（パス依存の統計）を扱えるように仮想摂動解析を拡張します。
