分散を考慮した適応的重み付けによる拡散モデル訓練

要旨: 拡散モデルは近年、生成モデルにおいて顕著な成功を収めている一方で、異なるノイズレベルに対する訓練ダイナミクスは依然として高度に不均衡であり、これが最適化の非効率や学習挙動の不安定性を招く可能性がある。本研究では、この不均衡を log-SNR レベル間の損失分散の観点から検討し、それに対処する分散を意識した適応的重み付け戦略を提案する。提案手法は、観測された分散分布に基づいて訓練ウェイトを動的に調整し、ノイズレベル間でよりバランスの取れた最適化プロセスを促進する。CIFAR-10および CIFAR-100 での広範な実験により、提案手法は標準的な訓練スキームより一貫して生成性能を向上させ、FID の低下とともにランダムシード間の性能分散も低減することが示された。損失-log-SNR の可視化、分散ヒートマップ、およびアブレーション研究を含む追加分析は、適応的重み付けが訓練ダイナミクスを効果的に安定化させることをさらに示している。これらの結果は、拡散モデルの最適化を改善するための分散を意識した訓練戦略の潜在能力を示唆している。