逐次および並列座標上昇型変分推論の安定性
arXiv stat.ML / 2026/3/24
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文では、逐次型と並列型の座標上昇（coordinate ascent）による変分推論を比較し、両者が実際には非常に異なる振る舞いを示し得ることを明らかにする。
- 非常に高次元ではないが中程度に高次元の線形回帰の設定を扱い、各アルゴリズムの更新手法が収束にどのように影響するかを切り分ける。
- 著者らは、逐次型はしばしば遅いものの、並列型よりも緩和された条件の下で収束することを見いだす。
- 並列型は、ブロック単位の更新や計算効率のために一般的に用いられるが、本論文の解析における収束保証はより厳密で／より制約的である。
- 本研究は数値解析で知られた考え方を変分推論の最適化文献へと拡張するものであり、このような違いはこれまで十分に検討されていなかった。
