Abstract
確率的自然勾配変分推論（Stochastic natural gradient variational inference; NGVI）は、ベイズ推論のための人気があり効率的なアルゴリズムです。経験的には成功しているにもかかわらず、この手法の収束はまだ十分に理解されていません。本研究では、変分分布が指数族を成すときに、射影された確率的NGVI（projected stochastic NGVI）を定義し、その性質を調べます。確率性は、勾配が計算不能な期待値である場合、あるいは大きな和が関わる場合に生じます。定数ステップサイズまたは減少するステップサイズと、定数または増加するサンプル／バッチサイズの組み合わせに対して、新たな非漸近的（non-asymptotic）収束結果を証明します。すべてのハイパーパラメータが固定されている場合、NGVIは最適解の近傍へ幾何学的に収束することが示されます。一方、ステップサイズとサンプル／バッチサイズのスケジュールの他の組み合わせすべてについて、
ho 1となる可能性を含めて、収束率が 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 の形、すなわち 1 1 1 の形で最適解への収束が確立されます。これらの率は、目標とする事後分布が、ある意味で考慮する指数族に近い場合に適用されます。私たちの理論結果は、既存のNGVIおよび確率的最適化の結果を拡張し、速度、計算資源、精度の制約に応じて、ステップサイズやサンプル／バッチサイズを原理的に調整するための柔軟性を高めます。
