対称性が変分推論における統計回復を保証する

要旨: 変分推論（VI）は現代の機械学習における中心的な道具であり、扱いにくい目標密度を、扱いやすい確率分布の族に対する最適化によって近似するために用いられます。変分族は通常、目標を正確に表現できないため、得られた近似の品質に関する保証は、VIがその性質のうちどれを忠実に捉えられるのかを理解するうえで極めて重要です。近年の研究では、目標と変分族の対称性が特定の統計量の回復を可能にする場合があることが明らかにされており、モデルのミススペシフィケーションがあっても、一定の統計量が回復されることが示されています。しかし、これらの保証は本質的に問題固有であり、対称性が統計量の回復を強制する根本的なメカニズムについての洞察はほとんど得られません。本論文では、この限界を克服するために、変分推論における対称性に誘起される統計量回復の一般理論を構築します。第一に、変分最小化解がいつ目標の対称性を引き継ぐのかを特徴付け、これらが同定可能な統計量をどのような条件で一意に定めるかを確立します。第二に、位置・尺度族における既存の統計量回復の結果が、本理論の特別な場合として導かれることを示すことで、これまでの結果を統一します。第三に、球面上の分布に対して枠組みを適用し、von Mises-Fisher族における方向統計量についての新たな保証を得ます。これらの結果により、幅広い対称性設定においてVIの新しい回復保証を導出するための、モジュール化された設計図が提供されます。