分数事後分布の変分学習

arXiv cs.LG / 2026/3/31

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

データエビデンスを下限評価しつつ、近似分数事後分布の推定を可能にする新しい1パラメータの変分目的関数を提案する。
本手法を階層的構成やベイズ事後分布へ拡張し、柔軟な確率的モデリングの枠組みを提供することを目指す。
著者らは2つの特別な場合について解析的勾配を導出し、混合モデルでのシミュレーション結果として、従来の変分事後分布よりもキャリブレーションが改善することを報告する。
変分オートエンコーダに適用すると、本手法はより高いエビデンス下限をもたらし、分数事後分布と近似ベイズ事後分布の双方の同時学習を支援する。
分数事後分布で学習したVAEは、事前分布からサンプルを生成するために用いるデコーダの整合性がより高いことが示される。

Abstract

データエビデンスを下界で与え、近似分数事後分布（fractional posteriors）の推定を可能にする、新しい1パラメータの変分目的関数を提案します。本枠組みを階層的構成およびベイズ事後分布へ拡張し、確率的モデリングのための汎用的なツールを提供します。勾配が解析的に得られる2つの事例と、混合モデルに関するシミュレーション研究を示し、分数事後分布が、従来の変分下界から得られる事後分布と比べてより良いキャリブレーションを達成するために用い得ることを示します。変分オートエンコーダ（VAE）に適用すると、我々の手法はより高いエビデンス下界を達成し、分数事後分布とともに高性能な近似ベイズ事後分布を共同で学習できるようになります。さらに、分数事後分布で訓練したVAEは、事前分布から生成する際に用いるデコーダがより良く整合していることを示します。