PromptEcho：テキストから画像への強化学習のための、視覚言語モデルからの注釈不要な報酬

Abstract

強化学習（RL）はテキストから画像（T2I）モデルのプロンプト追従能力を向上させることができますが、高品質な報酬（リワード）信号を得ることは依然として困難です。CLIPスコアは粒度が粗すぎる一方で、VLMベースの報酬モデル（例: RewardDance）は、人手でアノテーションされた嗜好データと、追加の微調整を要します。私たちは、 emph{注釈不要}かつ extit{報酬モデル学習不要}の報酬構築手法であるPromptEchoを提案します。生成された画像と導きとなるクエリが与えられると、PromptEchoは、元のプロンプトをラベルとして用い、凍結したVLMのトークンレベルの交差エントロピー損失を計算します。これにより、VLMの事前学習中にエンコードされた画像-テキストの整合性（アラインメント）に関する知識を直接抽出します。報酬は決定論的であり、計算効率が高く、より強力なオープンソースVLMが利用可能になるにつれて自動的に改善します。評価のために、プロンプト追従能力を厳密に検証する、概念に富んだ高密度キャプションのベンチマークであるDenseAlignBenchを開発します。最先端の2つのT2Iモデル（Z-ImageおよびQwenImage-2512）に対する実験結果では、PromptEchoがDenseAlignBenchで大幅な改善を達成することが示されました（+26.8pp / +16.2pp ネット勝率）。さらに、タスク固有の学習なしでGenEval、DPG-Bench、TIIFBenchでも一貫した向上が得られています。アブレーション研究により、PromptEchoが同じVLMを用いた推論ベースのスコアリングを包括的に上回ること、そして報酬品質がVLMのサイズに応じてスケールすることが確認されます。学習済みモデルとDenseAlignBenchをオープンソースとして公開します。