ベイズニューラルネットワークにおける確率的勾配ラ ンジュバン動力学のための適応ステップサイズ化
arXiv stat.ML / 2026/4/10
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、ベイズニューラルネットワークに対する既存のSGMCMC/SGMCMC系手法の重要な制約として、これらがステップサイズの選択に非常に敏感である点、また pSGLD のような一般的な適応手法では、高価な発散補正なしに正しい事後分布の不変分布をサンプルできない場合がある点を取り上げる。
- SamAdams の枠組み内で時系列のリスケーリングを用い、局所勾配ノルムなどの監視量に基づいて有効ステップサイズを調節する、適応型確率的勾配ラ ンジュバン動力学手法 SA-SGLD を提案する。
- 著者らは、SA-SGLD が高曲率領域ではステップサイズを自動的に縮小し、より平坦な領域では拡大することで、安定性と混合（mixing）を改善できると主張する。
- 実験では、高曲率の2次元トイ問題および鋭い事前分布を用いたベイズニューラルネットワークによる画像分類タスクにおいて、標準的な SGLD よりも正確な事後分布のサンプリングが示される。
- 全体として本研究は、目標とする事後分布にバイアスを導入することなく、適応的なサンプリング挙動を実現することを目指している。
