現実味がありすぎて本物には見えない？— 生成カラー忠実性のベンチマークと較正

要旨: 最近のテキストから画像への生成（T2I）の進展は視覚的な品質を大幅に向上させましたが、現実世界の写真に見えるような視覚的に本物らしい画像を作ることは依然として難しいです。これは既存の評価パラダイムのバイアスにも部分的に由来します。人間の評価と嗜好を学習したメトリクスは、過度に鮮やかさを強調した視覚的に鮮やかな画像を好む傾向があり、現実的なスタイルの画像を要求しても生成物が現実的とは言えないほど生々しくなることがあります。 この問題に対処するため、現実的なスタイルの生成における色忠実性を客観的に評価する Color Fidelity Dataset (CFD) と Color Fidelity Metric (CFM) を提示します。CFD には階層的なカラーリアリズムのレベルを持つ現実画像と合成画像を合計で130万点超収録しています。一方、CFM は知覚的カラー忠実性を学習するマルチモーダルエンコーダを採用します。さらに、トレーニングを必要としない Color Fidelity Refinement (CFR) を提案します。CFR は生成時の空間-時間ガイダンスのスケールを適応的に調整することで、カラーの信頼性を高めます。これらを合わせて、CFD は評価のための CFM を支援し、CFM の学習済みアテンションは CFR を導くことで、現実的スタイルの T2I 生成におけるカラー忠実性を評価・改善するための段階的なフレームワークを形成します。データセットとコードは https://github.com/ZhengyaoFang/CFM で公開されています。