EvolveCoder: コード強化学習のための敵対的検証によるテストケースの進化

要旨: 検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデルにおけるコード生成を改善する有望なアプローチですが、既存のコーディングRLデータセットにおける検証信号は弱く静的であることがその有効性を制限しています。
本論文では、解法条件付けと敵対的検証フレームワークを提案し、候補解の実行挙動に基づいてテストケースを反復的に洗練させ、難易度を上げ、識別力を高め、冗長性を減らすことを目的とします。
このフレームワークに基づき、複数回の敵対的なテストケース進化を通じて構築された大規模なコーディング強化学習データセットであるEvolveCoder-22kを導入します。
経験的分析は、反復的な洗練が検証を著しく強化することを示し、pass@1が43.80から31.22へ低下しました。
EvolveCoder-22k上の強化学習は安定した最適化と一貫した性能向上をもたらし、4つのダウンストリームベンチマーク全体でQwen3-4Bを平均4.2ポイント改善し、強力な4Bスケールのベースラインを上回ります。
我々の結果は、コード生成における効果的かつスケーラブルな強化学習のためには、敵対的で解法条件付きの検証の重要性を強調します。