Nemotron-Cascade 2: Cascade RLとマルチドメインのオンポリシー蒸留によるポストトレーニングLLMs

Abstract

Nemotron-Cascade 2 を紹介します。これは 3B 活性化パラメータを持つオープン 30B MoE モデルで、最良クラスの推論能力と強力なエージェント機能を提供します。コンパクトなサイズにもかかわらず、数学的・コーディングの推論性能は最前線のオープンモデルに近づいています。DeepSeekV3.2-Speciale-671B-A37B に次ぐ、2025 年の国際数学オリンピック（IMO）、国際情報オリンピック（IOI）、ICPC 世界決勝戦でゴールドメダル級の性能を達成した、オープンウェイトLLMの2例目であり、パラメータ数は従来比20分の1程度で、驚くほど高い知能密度を示します。 Nemotron-Cascade 1 とは対照的に、主要な技術的進歩は以下のとおりです。厳選されたデータセットに対する SFT の後、Cascade RL を大幅に拡張し、推論とエージェント的領域のはるかに広いスペクトルをカバーします。さらに、Cascade RL プロセス全体にわたって、各ドメインに対して最も強力な中間教師モデルからのマルチドメインのオンポリシー蒸留を導入し、ベンチマークの回帰を効率的に回復しつつ、途中での強力な性能向上を維持できるようにします。モデルのチェックポイントとトレーニングデータのコレクションを公開します。