推論を効率化するためのステップ単位アドバンテージ選択による安定化

要旨: 大規模言語モデル（LLM）は、推論時に大きな計算量を割り当てることで強力な推論性能を達成し、しばしば長く冗長な推論トレースを生成します。近年の効率的推論に関する研究では、長さに基づく報酬や枝刈りによって、このオーバーヘッドを低減する取り組みが進んでいます。しかし多くの手法は、ベースモデルの学習時よりもはるかに短いコンテキスト窓でポストトレーニングされており、その影響は体系的に切り分けられていません。私たちはまず、長さに応じた目的関数を一切使わず、標準的なGRPOのみで短コンテキストのポストトレーニングを行うだけでも、大きな推論圧縮がすでに生じることを示しますが、その代償として、学習ダイナミクスがますます不安定になり、精度が低下します。これに対処するため、私たちは推論ステップ単位で動作し、正しいロールアウトにおける低自信のステップにはゼロのアドバンテージを与え、検証器（verifier）の失敗ロールアウトにおける高自信のステップにもゼロのアドバンテージを与える Step-level Advantage Selection（SAS）を提案します。ここでの失敗は、多くの場合、誤った推論というよりも、切り詰め（truncation）や検証器の問題によって生じます。多様な数学系および一般推論ベンチマークにおいて、SASは最強の長さを考慮したベースラインに比べ平均Pass@1精度を0.86ポイント向上させ、同時に平均推論長を16.3%削減し、より良い精度と効率のトレードオフを実現します。