ヒストリカル・コンセンサス訓練: ガウス混合モデルの事前分布を反復的に選択・洗練させて後方崩壊を防ぐ

変分オートエンコーダ（VAE）はしばしば後方崩壊を起こし、潜在変数が情報を持たなくなり、近似後方が事前分布へと退化します。最近の研究はこの現象をデータ共分散行列のスペクトル特性によって支配される相転移として特徴づけています。本論文では根本的に異なるアプローチを提案します。崩壊を建築的制約やハイパーパラメータの調整によって回避するのではなく、ガウス混合モデル（GMM）のクラスタリングの多様性を活用することで崩壊の可能性を完全に排除します。ヒストリカル・コンセンサス訓練を導入し、交互最適化と選択を繰り返すことで候補となるGMM事前分布のセットを段階的に洗練させる反復的選択手法です。重要な洞察は、複数の異なるクラスタリング制約を満たすように訓練されたモデルが歴史的障壁 — パラメータ空間の一領域であり、後に単一目的で訓練しても安定に保たれる — を発生させるという点です。我々はこの障壁が崩れた解を排除することを証明し、合成データと実世界データセットの広範な実験を通じて、デコーダの分散や正則化強度に関係なく非崩壊表現を達成することを実証しました。私たちのアプローチは明示的な安定性条件（例: $\sigma^{\prime 2} < \lambda_{\max}$）を要求せず、任意のニューラルアーキテクチャと合わせて機能します。コードは https://github.com/tsegoochang/historical-consensus-vae に公開されています。