償却型変分推論のためのインスタンス適応的パラメータ化

Abstract

潜在変数モデル（変分オートエンコーダ（VAE）を含む）は、スケーラビリティと確かな確率論的定式化により、現代の深層生成モデリングにおける中核的なツールとして依然中心的な役割を果たしています。これらのモデルは、効率的な事後分布近似を可能にするために償却（amortized）変分推論に依存しますが、この効率性は共有されたパラメータ化という代償を伴い、その結果として償却ギャップ（amortization gap）が生じます。私たちは、インスタンス適応型変分オートエンコーダ（IA-VAE）を提案します。IA-VAEは、ハイパーネットワークが共有エンコーダの入力依存的な変調を生成することで、共有エンコーダに対する入力量適応を実現しつつ、単一のフォワードパスの効率を維持する、償却変分推論の枠組みです。提案手法では、インスタンス固有のパラメータ変調を活用することで、実質的により少ないパラメータ数で、標準的なエンコーダに匹敵する性能を達成できることが示されており、モデルの容量をより効率的に用いていることが示唆されます。真の事後分布が既知である合成データに対する実験では、IA-VAEがより正確な事後分布近似をもたらし、償却ギャップを低減することが示されました。同様に、標準的な画像ベンチマークにおいても、IA-VAEはベースラインのVAEに対して、保持データ上のELBOを一貫して改善し、複数回の実験で統計的に有意な改善が得られました。これらの結果は、インスタンス適応的な変調によって推論パラメータ化の柔軟性を高めることが、深層生成モデルにおける償却に起因する不最適性を緩和するための重要な要因であることを示しています。