Nemotron-Cascade：汎用推論モデルのためのカスケード強化学習のスケーリング

概要: 強化学習（RL）によって一般目的の推論モデルを構築するには、推論時の応答長の大きなばらつきや検証のレイテンシなどを含む、ドメインをまたいだ大きな不均一性が伴います。このような変動はRL基盤を複雑にし、学習を遅らせ、学習カリキュラム（例：応答長の延長）やハイパーパラメータ選択を難しくします。本研究では、思考のみの対応モデルに対して性能ギャップを生じさせることなく、指示（instruct）モードと深い思考（deep thinking）モードの両方で動作可能な Nemotron-Cascade を開発するための、カスケード型ドメイン別強化学習（Cascade RL）を提案します。異なるドメインの不均一なプロンプトを混ぜ合わせる従来のアプローチから離れ、Cascade RL は、ドメイン別のRLを逐次的にオーケストレーションすることで、エンジニアリングの複雑さを低減し、幅広いベンチマークにおいて最先端の性能を提供します。特に、整合性（アラインメント）のためのRLHFを事前ステップとして用いることで、単なる嗜好最適化を超えてモデルの推論能力が大幅に向上し、その後のドメイン別RLVR段階では、先行ドメインで到達したベンチマーク性能が低下することはほとんどなく、むしろ改善することさえあります（図1の図解を参照）。14BモデルはRL後に、そのSFT教師モデルである DeepSeek-R1-0528 を LiveCodeBench v5/v6/Pro で上回り、さらに2025年 国際情報オリンピック（IOI）で銀メダル相当の性能を達成しました。私たちは学習およびデータのレシピを、透明性をもって共有します。