減算型ミクスチャモデルによる推論の近似方法

Abstract

古典的な混合モデル（MMs）は、変分推論（VI）や重要度サンプリング（IS）といった近似推論設定に対する、扱いやすい提案として広く用いられています。近年、負の係数を持つ混合モデル、すなわち減算的混合モデル（SMMs）が、より高い表現力の代替として提案されてきました。しかし、SMMsには潜在変数の意味論が提供されないため、古典的なMMsに対するサンプリング方式をそのまま利用できず、VIやISに対してそれらを効果的に使う方法は、依然として未解決の問題です。本研究では、ISのためのいくつかの期待値推定器と、SMMsによるVIのための学習スキームを設計することで、この問題を回避する方法を検討し、分布近似の観点でそれらを実験的に評価します。最後に、これらがもたらす推定の安定性および学習効率に関する追加の課題について議論し、それらを克服するための方法を提案します。コードは以下で利用可能です: https://github.com/april-tools/delta-vi.