拡散モデルはいつ複数の物体を生成できるようになるのか？

Abstract

テキストから画像への拡散モデルは印象的な視覚的忠実度を達成しますが、複数オブジェクトの生成においては信頼性が低いままです。これらの失敗に関しては膨大な経験的証拠があるにもかかわらず、根本的な原因は不明なままです。私たちはまず、この制約のどれほどがデータそのものに起因しているのかを問います。データ効果を切り離すために、さまざまなデータセットサイズにまたがって2つの状況を考えます: （1）概念の一般化。ここでは、各個別の概念が、潜在的に偏ったデータ分布のもとで、学習中に観測されることがあります。 （2）構成的な一般化。ここでは、特定の概念の組み合わせが体系的に学習から除外されます。これらの状況を研究するために、データセット生成のための制御された枠組みとして mosaic（Multi-Object Spatial relations, AttrIbution, Counting）を導入します。mosaic で拡散モデルを学習すると、概念の不均衡よりもシーンの複雑さが支配的な役割を果たすこと、そしてカウントは低データ状況では特有に学習が困難であることが分かります。さらに、構成的な一般化は、学習中に除外される概念の組み合わせ数が増えるほど崩壊します。これらの結果は拡散モデルの本質的な限界を浮き彫りにし、頑健な複数オブジェクトの構成的生成に向けて、より強い帰納バイアスとデータ設計を動機づけます。