大規模言語モデルは視覚生成のためのユニバーサル推論器である

要旨: 拡散モデルによってテキストから画像を生成する手法は急速に進歩し、CLIPやT5による条件付けから、単一のLLMバックボーンが視覚の理解と生成の両方を担う統一型システムへと発展してきました。アーキテクチャの統一にもかかわらず、これらのシステムは合成の際に、複雑なプロンプトを忠実に整合させられないことがしばしばあります。一方で、それらと同じプロンプトが与えられた画像が条件を満たすかどうかの検証に関しては、非常に高い精度を保っています。私たちはこれを\emph{理解-生成ギャップ}として定式化し、LLMを万能の推論器として活用して、その理解力を直接的な生成ガイダンスへ変換する枠組みUniReasonerを提案します。プロンプトが与えられると、LLMは最初に、離散的な視覚トークンからなる粗い視覚的下書きを生成します。その後、下書きをプロンプト整合性の観点から評価して自己批判を行い、修正すべき点を特定する根拠に基づいた言語評価を生成します。最後に、拡散モデルはプロンプト、視覚的下書き、評価の3つを同時に条件付けされ、生成が明示的な修正シグナルによって導かれるようにします。各シグナルは互いの制限に対応しています。下書きは、テキストのみの条件付けにおける過小指定を減らす、具体的でシーン単位のアンカーを提供し、評価は、検証を根拠に基づく実行可能な制約へと変換することで、不足、幻覚、関係の誤りを補正します。実験の結果、UniReasonerは同一の拡散バックボーンのもとで、画像品質を維持しつつ、合成的整合性と意味的忠実性を向上させることが示され、理解-生成ギャップを埋めるためにLLMの推論を活用する実用的な手段を示しています。