1.x-Distill: 分布マッチング蒸留における多様性・品質・効率の壁を打ち破る
arXiv cs.CV / 2026/4/7
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 1.x-Distillは、Diffusionモデルの反復的なノイズ除去コストを抑えるための「小ステップ（fractional-step）蒸留」枠組みで、従来の整数ステップ制約を破って実用的な1.x-step生成を目指す手法だ。
- 分布マッチング蒸留（DMD）が2ステップ以下で起こしがちな多様性崩壊や忠実度低下に対し、教師側CFGの役割を分析したうえでモード崩壊を抑える修正を提案している。
- 極端に少ないステップ条件での性能向上として、粗い構造を多様性保持の分布マッチングで学び、詳細を推論整合的な敵対的蒸留で磨く「Stagewise Focused Distillation」の二段階戦略を導入する。
- さらにDistill–Cache co-Training向けに軽量な補償モジュールを設計し、ブロック単位のキャッシュを蒸留パイプラインへ自然に組み込めるようにしている。
- 実験ではSD3-Medium/SD3.5-Largeで、先行するfew-step蒸留より品質と多様性が改善し、実効NFEがそれぞれ1.67/1.74で最大33倍の速度向上（元の28×2 NFE比）を報告している。
