LLM嗜好最適化のためのDDO-RM：DPOに対する最小限のホールドアウト・ベンチマーク

Abstract

本論文は、現在の原稿をDPO対DDO-RMの嗜好最適化（preference-optimization）プロジェクトを軸に整理し、2つの部分、すなわちアルゴリズム的観点と、事前に保持した（preliminary held-out）ベンチマークに焦点を当てます。このベンチマークは、狭い問いを投げかけます。つまり、最小限のペアワイズな「選好あり（chosen）」対「選好なし（rejected）」の設定であっても、報酬に導かれた決定分布の更新は、直接的なペアワイズ目的関数（direct pairwise objective）を上回ることができるのか、という問いです。HuggingFaceH4/ultrafeedback\_binarizedを用いて、EleutherAI/pythia-410m上でDirect Preference Optimization（DPO）とDDO-RMを比較し、保持済みのtest\_prefs分割で評価を行い、シード42、13、3407について結果を報告します。 アルゴリズム的に、DDO-RMは各プロンプトを、候補応答に対する有限の意思決定問題（finite decision problem）として扱います。二値の「chosen-rejected」関係のみを最適化するのではなく、候補にわたる方策分布（policy distribution）を形成し、その分布の下で報酬モデルのスコアを中心化（center）したうえで、報酬に導かれた目標分布（reward-guided target distribution）を方策へと蒸留（distill）します。現在の公開ベンチマークでは、DDO-RMはDPOに比べて、平均ペア精度（mean pair accuracy）を0.5238から0.5602へ、AUCを0.5315から0.5382へ、平均マージン（mean margin）を0.1377から0.5353へと改善しています。これらは有望ですが、依然として予備的な結果です。研究は、1つのモデル系列、1つのデータセット、1つの保持済み評価分割、そして3つのシードのみを対象としています。