エントロピー誘導によるステップ選択とステップごとのアドバンテージを用いた拡散型LLMの強化学習

要旨: 強化学習（RL）は、ポストトレーニング自己回帰（AR）言語モデルに対して有効であったが、これらの方法を拡散型言語モデル（DLMs）へ拡張することは、シーケンスレベルの尤度が扱いにくいため困難である。既存のアプローチはしたがって代理的尤度やヒューリスティック近似に依存することが多く、偏りを生じさせ、デノイジングの逐次的構造を不明瞭にする可能性がある。我々は拡散ベースのシーケンス生成をデノイジング軌道上の有限ホライズンのマルコフ決定過程として定式化し、デノイジングのステップに分解され、中間的アドバンテージの観点で表現され、シーケンス尤度を明示的に評価することを必要とせず、正確で偏りのない方策勾配を導出する。実用的で計算効率の良い推定量を得るために、(i) エントロピー誘導の近似境界を介してポリシー更新のためのデノイジングステップを選択し、(ii) ディフューションモデルによって自然に提供される1ステップのデノイジング報酬を用いて途中のアドバンテージを推定し、費用のかかるマルチステップのローアウトを避ける。コーディングおよび論理推論のベンチマークにおける実験は、最先端の結果を示し、数学的推論においても強力な競争力を有し、DLMsに対する既存のRLポストトレーニング手法を凌駕する。コードは https://github.com/vishnutez/egspo-dllm-rl で利用可能です。