ノイジーな嗜好から学ぶ：半教師あり学習によるディレクト・プレファレンス・オプティマイゼーション

概要: 人間の視覚的嗜好は本質的に多次元的であり、美的要素、ディテールの忠実度、意味的な整合性を含んでいます。しかし、既存のデータセットは単一の全体的な注釈しか提供しないため、深刻なラベルノイズが生じます。すなわち、ある次元では優れている一方で別の次元で不足している画像は、単に勝ち/負けとしてマークされてしまいます。理論的に、これらの多次元の嗜好を二値ラベルに圧縮すると、拡散型ダイレクト嗜好最適化（Diffusion Direct Preference Optimization: DPO）を誤誘導する、相反する勾配信号が生成されることを示します。これに対処するために、整合したペアをクリーンなラベル付きデータとして扱い、相反するものをノイズを含むラベルなしデータとして扱う、半教師ありアプローチであるSemi-DPOを提案します。提案手法はまず、合意フィルタリングされたクリーンなサブセットで学習し、そのモデルを暗黙の分類器として用いて、ノイズを含む集合に対する擬似ラベルを生成します。その後、反復的な改良のためにこれを活用します。実験結果は、Semi-DPOが最先端の性能を達成し、複雑な人間の嗜好との整合性を大幅に改善することを示しています。さらに、学習中に追加の人手による注釈や明示的な報酬モデルを必要としません。コードとモデルは次で公開します: https://github.com/L-CodingSpace/semi-dpo