ScribbleEdit：手書きの落書き（シブリング）とテキストによる画像編集のための合成データ

概要: 生成モデルの最近の進展により画像編集の能力は大きく向上しましたが、正確で直感的なユーザ制御を維持することはいまだに難しいままです。具体的には、ユーザはしばしば、正確な空間レイアウトと特定の意味的詳細の両方を同時に伝えることに苦労します。自然言語による指示は、質感や色のような高レベルな意味は効果的に伝えられる一方で、空間の厳密さには欠けます。逆に、手描きの落書きはおおまかな空間境界を示せるものの、詳細な視覚的属性を表現できません。その結果、正確な制御を実現するには、両方のモダリティを組み合わせる必要があります。しかし、既存のモデルは、専門的な訓練データが不足しているため、テキストとともに抽象的な落書きを同時に解釈することに苦戦しています。
本研究では、このギャップを埋めるために自然言語指示と手描きの落書き入力を組み合わせ、より正確で制御可能な編集を可能にする、大規模合成データセット「ScribbleEdit」を提案します。私たちは、合成パイプラインによってこのデータセットを構築します。このパイプラインでは、インペインティングにより自動的にソース画像とターゲット画像のペアを生成し、それらを人が描いた落書きとVLMが生成したテキスト指示と組み合わせます。ScribbleEditを用いて、拡散ベースおよび自己回帰型の統一マルチモーダル画像編集モデルの両方を評価し、微調整します。実験の結果、既製のモデルは抽象的な落書き入力ではうまく機能しない一方で、合成データセットで微調整すると、空間的に整合した意味的に一貫した編集を生成する能力が大幅に向上することが分かりました。