拡散モデルにおける整合性蒸留の記憶（メモリ化）への影響

概要: 拡散モデルは現代の生成モデリングの中心であり、記憶（memorization）と汎化（generalization）のバランスがどのように取られているかを理解することは、信頼できる導入（deployment）にとって重要です。近年の研究では、拡散モデルにおける記憶は学習ダイナミクスによって形づくられることが示されており、汎化と記憶は学習の異なる段階で現れます。しかし、実際に導入される拡散モデルはしばしばさらに蒸留（distilled）されており、追加の学習段階が記憶に与える影響は十分に理解されていません。本研究では、整合性蒸留（consistency distillation）を代表的な枠組みとして取り上げ、蒸留が拡散モデルの記憶行動をどのように再構成するのかを分析します。実験的に、データを記憶している教師モデルに対して整合性蒸留を適用すると、学生モデルへ転移される記憶が大幅に減少する一方で、サンプル品質は維持され、場合によっては改善されることを示します。この挙動を説明するために、ランダム特徴ニューラルネットワークモデル [Bonnaire et al., 2025] を用いた理論的分析を提示し、整合性蒸留が記憶に関連する不安定な特徴方向を抑制しつつ、安定で汎化可能なモードを保持することを示します。以上の結果は、蒸留が単なる加速のための手段であるだけでなく、記憶—汎化のトレードオフを改善するメカニズムとしても機能しうることを示唆しています。