Explainable Latent Rewards による自己修正型画像生成

arXiv cs.AI / 2026/3/27

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

既存のテキストから画像生成は、複雑なプロンプトに対する細かな意味や空間関係の整合が難しく、その根本要因として生成がフィードフォワードで“先回り”の調整が必要になる点を指摘しています。
提案手法 xLARD は、マルチモーダル LLM と「Explainable Latent Rewards」を用いて生成中に自己修正できるフレームワークで、軽量な corrector が潜在表現を構造化されたフィードバックで更新します。
画像レベル評価は非微分になりがちですが、xLARD は「潜在編集→解釈可能な報酬信号」への微分可能な写像を導入し、非微分の評価からでも連続的な潜在ガイダンスを可能にします。
多様な生成・編集タスクの実験で、意味整合と視覚的忠実性の向上を示しつつ、生成的な事前分布（generative priors）を維持することを報告しています。

概要: 画像からテキストへの生成が大きく進歩したにもかかわらず、複雑なプロンプトに出力を合わせ込むこと、特にきめ細かな意味論（セマンティクス）や空間関係の整合を取ることは依然として難しい。この困難は、生成がフィードフォワード型であることに起因しており、出力を完全には理解せずに整合を見越す必要がある。一方で、生成画像の評価はより取り扱いやすい。この非対称性に動機づけられ、我々は xLARD を提案する。xLARD は、生成を説明可能な潜在報酬（Explainable LAtent RewarDs）によって導く自己修正型の枠組みであり、多モーダルの大規模言語モデルを用いる。 xLARD は、モデルが生成した参照（リファレンス）から得られる構造化されたフィードバックに基づいて潜在表現を洗練（refine）する軽量なコレクタ（corrector）を導入する。主要な構成要素は、潜在の編集から解釈可能な報酬信号へ写像する微分可能な（differentiable）機構であり、非微分可能な画像レベルの評価から、潜在レベルでの連続的なガイダンスを可能にする。この仕組みにより、生成中のモデルが自分自身を理解し、評価し、そして修正できるようになる。多様な生成および編集タスクにまたがる実験により、xLARD は生成的事前分布（generative priors）を維持しつつ、意味整合と視覚的忠実性を向上させることが示される。コードは https://yinyiluo.github.io/xLARD/ で公開されている。