デルタを分解する：モデルは選好ペアから実際に何を学ぶのか？

Abstract

DPO や KTO などの選好最適化（preference optimization）手法は、言語モデルの整合（アラインメント）に広く用いられているものの、選好データのどのような性質が下流の推論向上につながるのかについては、十分に理解されていません。私たちは次の問いを立てます。すなわち、選好ペアのどの側面が、汎用の推論タスクにおける推論モデルの性能を高めるのでしょうか。選好データにおける品質デルタ（quality delta）について、異なる2つの概念を調査します。1つ目は生成器レベルのデルタ（generator-level delta）で、選好（chosen）および非選好（rejected）の推論トレースを生成するモデル間の能力の差から生じます。2つ目はサンプルレベルのデルタ（sample-level delta）で、個々の選好ペアにおける、評価された品質差（judged quality differences）の違いから生じます。生成器レベルのデルタを調べるために、生成器のスケールとモデルファミリを変化させます。またサンプルレベルのデルタを調べるために、LLM-as-a-judge を用いて、複数の推論品質（reasoning-quality）次元に沿って生成されたトレースの品質を評価します。その結果、生成器レベルのデルタを増やすことで、領域外の推論タスクにおける性能が着実に向上することが分かりました。さらに、サンプルレベルのデルタでデータをフィルタリングすることで、よりデータ効率の高い学習が可能になることも示されました。これらの結果は、選好最適化を通じて推論性能を改善するための二段階のレシピを示唆しています。すなわち、選好ペアを構築する際には生成器レベルのデルタを最大化し、サンプルレベルのデルタを活用して最も有益な学習例を選択するのです。