Long-form RewardBench: 長文生成の報酬モデルを評価する

概要: 強化学習ベースのアラインメントの広範な採用は、報酬モデルの重要性が高まっていることを強調しています。さまざまな領域と状況で報酬モデルを評価するためのベンチマークが構築されてきました。しかし、現実世界の応用においてその重要な役割にもかかわらず、長文生成の報酬モデルを評価することには依然として大きなギャップが残っています。これを埋めるべく、長文生成専用に設計された最初の報酬モデリングのテストベッドである Long-form RewardBench を紹介します。本ベンチマークには、5つの主要なサブタスクが含まれます：QA（質問応答）、RAG（情報検索を用いた生成）、Chat（対話）、執筆、推論。私たちは、指示データと好みデータを慎重に設計された多段階データ収集プロセスを通じて収集し、分類モデルと生成モデルの双方を含む20以上の主流の報酬モデルに対して広範な実験を実施しました。私たちの所見は、現行のモデルが長文報酬モデリング能力をまだ欠いていることを示しています。さらに、新規Long-form Needle-in-a-Haystack テストを設計し、報酬モデリングの性能と応答内の誤りの位置、および全体的な応答長との相関があることを明らかにし、分類モデルと生成モデルの間で特徴が異なることが観察されました。最後に、同じデータで訓練された場合、分類モデルは生成モデルよりも一般化性が高いことを示します。長文報酬モデリングの初のベンチマークとして、本研究はこの重要な領域の進捗を可視化するための堅牢なプラットフォームを提供することを目指しています。