Three Creates All: 3ステップしかサンプルしない
arXiv cs.LG / 2026/3/25
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 拡散モデルは、推論時に多くの逐次評価を必要とするため、依然として遅い。本論文では、少数ステップサンプリングにおける主要なボトルネックとして、標準的なタイムステップ条件付けを特定している。
- 提案するMulti-layer Time Embedding Optimization（MTEO）は、学習済みの拡散バックボーンを凍結し、参照となる軌跡（reference trajectories）から少数のステップごと・層ごとのタイム埋め込みを蒸留する。
- MTEOは既存のODEソルバに対してプラグアンドプレイで組み込めるように設計されており、推論時のオーバーヘッドは追加しないと主張している。さらに、学習するパラメータは全体のごく一部（tiny fraction）だけで済む。
- 複数のデータセットおよび拡散バックボーンに対する実験により、少数ステップサンプリングでの最先端（state-of-the-art）の結果が報告され、軽量な蒸留アプローチに対する性能差も縮小している。
- 著者らは、再現性と導入（adoption）のためにコードを公開する予定だと述べている。
