ReflectRM：統一的な判定フレームワーク内での自己反省により生成報酬モデルを強化する

Abstract

報酬モデル（RM）は、人間のフィードバックからの強化学習（RLHF）パイプラインにおける重要な構成要素であり、大規模言語モデル（LLM）のアライメント品質を直接的に決定します。近年、生成的報酬モデル（GRM）が、従来のスカラーRMよりも高い解釈可能性と強力な汎化を提供する、より優れたパラダイムとして登場してきました。しかし、既存のGRM手法は主として結果レベルの教師信号に焦点を当てており、分析プロセスの質を見過ごしているため、その可能性が制約されています。そこで本研究では、分析の質を自己反省によって評価し、嗜好（プレファレンス）モデリングを強化する新しいGRMであるReflectRMを提案します。ReflectRMは、応答の嗜好と分析の嗜好を共同でモデリングするための統一された生成的フレームワークのもとで学習されます。推論時には、その自己反省能力を用いて最も信頼できる分析を特定し、それにもとづいて最終的な嗜好予測を導出します。4つのベンチマークにまたがる実験により、ReflectRMが一貫して性能を改善し、Qwen3-4Bで平均精度向上が+3.7を達成することが示されます。さらに、追加実験により、応答の嗜好と分析の嗜好が相互に強化し合うことが確認されます。特筆すべき点として、ReflectRMは位置バイアスを大幅に緩和し、先行する主要なGRMと比較して+10.2の改善をもたらし、より安定した評価者としての地位を確立しています。