確率的勾配降下法に対するガウス近似とマルチプライヤーブートストラップ

arXiv stat.ML / 2026/5/5

💬 オピニオンModels & Research

要点

  • 本論文は、適切な正則性条件の下で、確率的勾配降下法(SGD)により信頼集合を構成する際にマルチプライヤーブートストラップ手法が非漸近的に妥当であることを示します。
  • 著者らは、Polyak–Ruppert のSGD反復の極限共分散を近似する必要を回避することで、具体的な近似レートを導出できるようにしています。
  • 凸距離における誤差評価として、1/√n までのオーダーの精度保証を導き、その速さは Polyak–Juditsky の中心極限定理で証明可能なものより速くなり得ると述べています。
  • 本研究は、SGDにおけるブートストラップ近似の精度について「完全に非漸近的」な誤差上界を与える最初の結果だと位置付けられています。
  • 解析は、独立な確率変数の非線形統計に対するガウス近似に基づいており、SGDにおけるブートストラップ推論をガウス近似技術へ接続する点が特徴です。

Abstract

本論文では、確率的勾配降下法(SGD)アルゴリズムを用いて信頼集合を構築するための乗数ブートストラップ手続きの非漸近的妥当性を確立します。適切な正則性条件のもとで、我々の手法は、Polyak-Ruppert SGD反復の極限共分散を近似する必要を回避します。これにより、凸距離の意味で最大で1/\sqrt{n}のオーダーまでの近似率を導出できます。特筆すべき点として、この率はPolyak-Juditskyの中心極限定理で証明できるものよりも速くなり得ます。筆者らの知る限り、これはSGDアルゴリズムにおけるブートストラップ近似の精度に関する初めての完全な非漸近的上界です。我々の解析は、独立な確率変数に関する非線形統計量のためのガウス近似に関する結果に基づいています。