DyWeight: 少数ステップ拡散サンプリングの動的勾配重み付け

要旨：拡散モデル（DMs）は、様々なモダリティにおいて最先端の生成性能を達成している一方で、サンプリング過程は数百回の関数評価を必要とするため実質的に遅いままです。最近の多段階ODE解法の進展は歴史的勾配を再利用することで効率を大幅に改善しましたが、既存の手法は拡散サンプリングの非定常ダイナミクスに適応できない手作りの係数に依存しています。この制限に対処するため、Dynamic Gradient Weighting（DyWeight）を提案します。DyWeightは軽量で学習ベースの多段ソルバーであり、洗練された暗黙の結合パラダイムを導入します。古典的な数値制約を緩和することで、DyWeightは制約のない時間変化パラメータを学習し、歴史的勾配を適応的に集約しつつ、実効ステップサイズを内在的にスケールさせます。この暗黙の時間キャリブレーションは、大きな統合ステップの下でソルバの数値的軌道をモデルの内部ノイズ除去ダイナミクスと正確に整合させ、複雑なデカップリングパラメータ化や最適化を回避します。CIFAR-10、FFHQ、AFHQv2、ImageNet64、LSUN-Bedroom、Stable DiffusionおよびFLUX.1-devでの広範な実験は、DyWeightがはるかに少ない関数評価で卓越した視覚忠実度と安定性を達成し、効率的な拡散ソルバーの新しい最先端を確立することを示しています。コードは https://github.com/Westlake-AGI-Lab/DyWeight で利用可能です。