BlendFusion -- 拡散モデル学習のためのスケーラブルな合成データ生成

要旨: 拡散モデルの急速な普及に伴い、合成データ生成は、大規模な画像データセットに対する需要の高まりに対応する有望なアプローチとして注目されています。しかし、拡散モデルだけで生成された画像はしばしば視覚的な不整合を示し、そのようなデータでモデルを学習すると、モデルの崩壊につながる自己食作用的（autophagous）なフィードバックループが生じ得ます。この現象は、一般にモデル自己食障害（Model Autophagy Disorder: MAD）と呼ばれます。これらの課題に対処するために、本研究ではパストレーシングを用いた3Dシーンからの合成データ生成のための、スケーラブルな枠組みであるBlendFusionを提案します。私たちのパイプラインには、オブジェクト中心のカメラ配置戦略、頑健なフィルタリング機構、自動キャプション生成が組み込まれており、高品質な画像—キャプションのペアを作成します。このパイプラインを用いて、さまざまな3Dシーンの集合から構築された画像—キャプションデータセットであるFineBLENDを編集します。さらに、FineBLENDの品質を実験的に分析し、広く用いられているいくつかの画像—キャプションデータセットと比較します。また、オブジェクト非依存のサンプリング手法に対する、オブジェクト中心のカメラ配置戦略の有効性も実証します。私たちのオープンソースの枠組みは高い設定自由度を目指して設計されており、コミュニティが3Dシーンから独自のデータセットを作成できるようにしています。