条件付き拡散における合成的一般化の局所メカニズム
Apple Machine Learning Journal / 2026/4/28
💬 オピニオンModels & Research
要点
- 本論文は、条件付き拡散モデルが合成的一般化（条件の外れた組合せに対しても説得力のあるサンプルを生成する能力）を示せる一方で、その仕組みがいまだ不明である点を検討している。
- 具体的な検証として、学習時に見たより多くの物体を含む画像を生成する「長さの一般化」を取り上げ、合成性のテストとして用いている。
- 制御されたCLEVR環境で評価した結果、長さの一般化はあるケースでは達成できるが別のケースでは失敗し、モデルが合成的な構造を常に学習しているわけではないことが示唆される。
- さらに著者らは、条件付き拡散において合成的一般化が「いつ」「なぜ」生じるのかを説明し得るモデル側の「局所的なメカニズム」を調べている。
- 全体として、合成的一般化は保証された挙動というより、学習や構造に依存して部分的に現れることを示す内容になっている。
Conditional diffusion models appear capable of compositional generalization, i.e., generating convincing samples for out-of-distribution combinations of conditioners, but the mechanisms underlying this ability remain unclear. To make this concrete, we study length generalization, the ability to generate images with more objects than seen during training. In a controlled CLEVR setting (Johnson et al.,2017), we find that length generalization is achievable in some cases but not others, suggesting that models only sometimes learn the underlying compositional structure. We then investigate…
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
