構成生成のための相関重み付け多報酬最適化

要約: テキストから画像へのモデルは自然言語プロンプトとよく一致する画像を生成しますが、組成的生成は長い間中心的な課題でした。モデルは単一のプロンプト内の複数の概念を満たすのに苦労することが多く、しばしばいくつかの概念を省略し、部分的な成功につながります。そのような失敗は、報酬最適化の過程で複数の概念を共同で最適化する難しさを強調し、競合する概念が互いに干渉し得ることを示しています。この制限に対処するため、概念報酬間の相関構造を利用して最適化時に各属性概念を適応的に重み付けするフレームワーク、Correlation-Weighted Multi-Reward Optimization（\ours）を提案します。概念間の相互作用を考慮することにより、\oursは競合する報酬シグナルのバランスを取り、部分的に満たされているがサンプル間で一貫して生成されない概念を強調し、組成的生成を改善します。具体的には、複数概念から成るプロンプトを事前に定義された概念グループ（例：物体、属性、関係）に分解し、各概念ごとに専用の報酬モデルから報酬信号を取得します。次に、これらの報酬を適応的に再重み付けし、相関ベースの難易度推定を用いて矛盾する概念や満たすのが難しい概念に対してより高い重みを割り当てます。各グループ内の最も難しい概念に最適化を集中させることにより、\oursはモデルが要求されたすべての属性を同時に一貫して満たすよう促します。本手法を最先端の拡散モデルSD3.5およびFLUX.1-devの訓練に適用し、ConceptMix、GenEval 2、T2I-CompBenchを含む難易度の高い複数概念ベンチマークで一貫した改善を実証します。