CRAFT: 拡散モデルをファインチューニングで整合させるのは思っているよりも容易だ

概要：拡散モデルの整列は、高品質で人間の好みに適合する画像を生成する上で顕著なブレークスルーを達成しています。監督付きファインチューニング（SFT）やDPOスタイルの好み最適化など、既存の手法は拡散モデルのファインチューニングにおける原理的な手法として確立されています。しかし、SFTは入手コストの高い高品質な画像を必要とし、DPOスタイルの手法は大規模な好みデータセットに依存しますが、その品質は一貫していないことが多いです。データ依存性を超えて、これらの手法は計算効率の悪さによってさらに制約を受けます。これらの二つの課題に対処するため、Composite Reward Assisted Fine-Tuning（CRAFT）を提案します。これは、訓練データを大幅に削減しつつ、計算効率を維持する軽量でありながら強力なファインチューニングのパラダイムです。まず、Composite Reward Filtering（CRF）技術を活用して高品質で一貫性のある訓練データセットを構築し、次にSFTの強化版を実行します。 また、CRAFTが実際にグループベースの強化学習の下限を最適化することを理論的に証明し、選択データを用いたSFTと強化学習との原理的な結びつきを確立します。 我々の広範な実証結果は、わずか100サンプルのCRAFTが、数千の好みペアサンプルを用いた最新のSOTA好み最適化手法を容易に上回ることを示しています。さらに、CRAFTはベースラインの好み最適化手法よりも11～220倍速く収束することさえ可能であり、その極めて高い効率を際立たせています。