非検証可能なLLMのポストトレーニングにおける推論型LLMsをジャッジとして検討する

要約：推論型LLMsをジャッジとして用いることは、推論時のスケーリングの恩恵を受けることで、出力の正確性/品質を直接検証できない非検証可能な領域へ推論モデルの成功を拡張する有望な道を提供します。しかし、推論ジャッジは静的評価ベンチマークでより良い性能を示している一方で、実際のポリシー訓練における有効性は体系的に検討されたことがありませんでした。従って、強化学習ベースのLLM整合における非推論と推論ジャッジの実際の影響を調査する厳密な研究を行います。私たちの統制された合成設定では、金標準ジャッジ（gpt-oss-120b）が小型ジャッジを訓練するための好みの注釈を提供します。これにより、非推論ジャッジと推論ジャッジの間の重要な差異が明らかになります。非推論ジャッジは報酬ハッキングを容易に誘発する一方、推論ジャッジは金標準ジャッジによって評価された場合に強い性能を達成する方針を生み出すことができます。興味深いことに、推論ジャッジ訓練済みの方針は、他のLLMジャッジを欺くことによってArena-Hardのような人気ベンチマークでも高いスコアを獲得できる、非常に効果的な敵対的出力を生成することを学習します。さらに私たちのさらなる分析と併せて、本研究は、非検証可能なLLMポストトレーニングにおいて（推論）LLMジャッジを適用する際の重要な発見と改善の余地を浮き彫りにします。