効率的なベイズ推論のためのマルチレート・ステイン変分勾配降下
arXiv cs.LG / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、標準的なSVGDが引力（事後分布の高確率領域への引き寄せ）と斥力（粒子の多様性の維持）に対して単一のグローバルなステップサイズを用いるため、高次元の事後分布の異なる領域でこれらのダイナミクスが異なる場合に失敗したり非効率になったりし得る、という主張を行う。
- それら2つの成分を異なる時間スケールで更新するマルチレートSVGDの枠組みを導出し、対称的な分割手法に基づく固定型（MR-SVGD）と、局所誤差制御を備えた適応型（Adapt-MR-SVGD）のバリアントを提案する。
- 著者らは、複数のベンチマークの族（異方的、複数モード、階層的事後分布、ベイズニューラルネットワーク、ロジスティック回帰を含む）に対して、事後分布のマッチング、予測性能、キャリブレーション、混合性能、そして詳細な計算コストの内訳を用いてマルチレート手法を評価する。
- 結果は、マルチレートSVGDの各バリアントが総じてバニラSVGDよりもロバスト性と品質—コストのトレードオフを改善し、特に硬い（stiff）階層構造、強い異方性、多峰性のターゲットで大きな改善が見られることを示す。
- 適応型マルチレート手法が通常は最も良い性能を示し、固定型マルチレートSVGDはより単純で低コストなロバスト代替として位置づけられる。
