OFA-Diffusion Compression：ワンショット方式で拡散モデルを圧縮する

要旨: 拡散確率モデル（Diffusion Probabilistic Model: DPM）は画像生成において目覚ましい性能を発揮する一方で、パラメータ数の増大と計算コストの増加が、実用的なアプリケーションへの導入を妨げています。これを改善するため、既存の研究では、モデル圧縮によって固定されたアーキテクチャを持つより小型のモデルを得ることに焦点が当てられてきました。しかし実際には、DPMは資源制約が異なるさまざまなデバイスに展開する必要があり、その結果として複数の圧縮プロセスが発生し、繰り返し学習に伴う大きなオーバーヘッドが生じます。これを回避するために、我々は、1回の学習（ワンショット）によって、計算量の異なるさまざまなサブネットワークを生成できるDPM向けの一度に最適化する（once-for-all: OFA）圧縮フレームワークを提案します。既存のOFAフレームワークでは一般に、異なるパラメータサイズを持つ大規模なサブネットワークが多数用意されますが、このように巨大な候補空間は最適化を遅くします。そこで本研究では、特定のパラメータサイズの集合に基づいて候補サブネットワークを制限することを提案します。ここで各サイズは、対応する特定のサブネットワークに相当します。具体的には、所定のサイズを持つ各サブネットワークを構築するために、重要度に基づいて維持するチャネルを段階的に割り当てます。さらに、異なるサブネットワークの最適化プロセスのバランスを取るための再重み付け戦略も提案します。実験結果は、我々の手法が満足のいく性能を達成しつつ、さまざまなサイズの圧縮DPMを、学習オーバーヘッドを大幅に低減して生成できることを示しています。