一般化の余韻を高めるための生成モデルのシーズニング

概要: 識別器を用いて生成モデルを訓練または微調整することは、かなり成功したフレームワークであることが証明されている。顕著な例として、弱い学習者制約を満たす識別器を介して生成モデルを強化する他のパラダイムと共に、識別器を訓練することによって生じる損失を最小化する Generative Adversarial Networks (GANs) が挙げられる。より最近では、拡散モデルさえも、ある種の識別器ガイダンスによって利点を示している。
本研究では、f-divergences に関連する強双対性の結果を拡張し、それにより識別器を指針とするレシピを生み出し、任意の生成モデルを \textit{洗練する}ことを可能にします。次に、洗練された生成モデルは、非洗練の対応モデルと比較して一般化を理論的に改善することを示します。特に、私たちの解析は、一般化のギャップが、洗練に用いられる識別器集合の Rademacher複雑度に基づいて改善されることを明らかにします。私たちのレシピは、最近導入されたスコアベースの拡散アプローチ（Kim et al., 2022）を包含しており、実証的な成功を示してきました。しかし、我々の解析によってこの手法の一般化保証に光を当てることができます。したがって、本研究は既存の研究に対する理論的検証を提供し、新しいアルゴリズムの道を示し、生成モデル全般における一般化の理解に寄与する。