トレードオフなしで長さのインフレーションに対処する：強化学習におけるグループ相対報酬リスケーリング

本文: arXiv:2603.10535v1 アナウンス種別: 新規 要旨： 強化学習はLLMの能力を大幅に向上させる一方で、長さのインフレーションという重大な問題に悩まされます。これは、報酬を最大化するために冗長な表現や非効率的な推論を採用する現象です。従来のアプローチは、この課題を一般的かつロスレスに解決するのが難しく、主に加法的ペナルティが補償効果を生み出して最適化のショートカットを作ってしまうこと、またヒューリスティックゲーティング戦略が二値のフィードバックを超える一般性を欠くことが原因です。 このギャップを埋めるために、グループ相対報酬リスケーリング（GR$^3$）を提案します。長さの制御を乗法的リスケーリングのパラダイムとして再定義し、一般化された、連続的で報酬依存のゲーティング機構を効果的に確立します。さらにロスレスな最適化を保証するために、グループ相対正則化とアドバンテージ意識のキャリブレーションを組み込み、インスタンスの難易度に応じて長さの予算を動的に適応させ、高品質な軌跡のアドバンテージ信号を保持します。 実証的には、RLHFおよびRLVR設定の両方で、GR$^3$は標準のGRPOと同等のトレーニングダイナミクスと下流パフォーマンスを維持しつつ、長さのインフレーションを大幅に緩和し、最先端の長さ正則化ベースラインを上回ります。