RefineRL：自己洗練型強化学習で競技プログラミングを前進させる

要旨: 大規模言語モデル（LLM）は、競技プログラミング（CP）のような複雑な推論タスクにおいて強力な性能を示しているものの、既存の手法は主として単一試行の設定に焦点を当てており、反復的な洗練（iterative refinement）が可能であるという能力を見落としています。本論文では、CP問題解決のためにLLMの自己洗練能力を解き放つことを目的とした新しいアプローチRefineRLを提案します。RefineRLは、2つの重要な革新を導入します。（1）疑義エージェント（Skeptical-Agent）: CP問題の公開テストケースに対して生成された解答を検証するためのローカル実行ツールを備えた、反復的な自己洗練エージェントです。このエージェントは常に自らの出力に対して懐疑的な態度を維持するため、検証によって正しいと示される場合でも、厳密な自己洗練が強制されます。（2）標準的なRLVRデータ（すなわち、検証可能な解答が対になっている問題）だけを用いて、LLMに自己洗練を促す強化学習（RL）による解法です。Qwen3-4BおよびQwen3-4B-2507に対する大規模な実験により、本手法が大きな改善をもたらすことが示されています。すなわち、RLトレーニング後、Skeptical-Agentを組み込んだこれらのコンパクトな4Bモデルは、はるかに大きい32Bモデルに勝るだけでなく、235Bモデルの単一試行性能にも近づきます。これらの結果は、自己洗練がLLM推論のスケーリングに対して大きな可能性を持つことを示唆しており、さらなる発展が見込まれます。