要件に着目したカリキュラム強化学習でLLMのコード生成を改善する

Abstract

指定されたプログラミング要件から、ソースコードを自動的に生成することを目的とするコード生成は、ソフトウェア開発効率を大幅に向上させる可能性を持っている。大規模言語モデル（LLM）の急速な進歩に伴い、LLMに基づくコード生成は、学術界と産業界の両方から広く注目を集めている。だが、プログラミング要件がますます複雑になるにつれて、既存のLLMにはなお顕著な性能上の制約が見られる。この課題に対処するため、近年の研究では、LLMのコード生成性能を向上させるための学習ベースのカリキュラム強化学習（CRL）戦略が提案されている。これらは有効である一方で、既存のCRLアプローチには、要件の難易度に関する認識の不一致、要件難易度の最適化の欠如、そしてカリキュラムのサンプリング戦略の不適切さ、といったいくつかの制限がある。CRLに基づくコード生成では、プログラミング要件がモデルへの唯一の入力となるため、その品質と難易度が学習の有効性にとって極めて重要である。ソフトウェア要求工学から得られた洞察に動機づけられ、我々は、LLMベースのコード生成を強化するための、新しい「要件を意識した」カリキュラム強化学習フレームワークであるRECRLを提案する。RECRLは、モデル固有の要件難易度を自動的に把握し、挑戦的な要件を最適化することで学習データの利用効率を高め、さらに、難易度が滑らかに変化するトレーニングバッチを構築するために適応的なカリキュラム・サンプリング戦略を採用する。5つの代表的なコード生成ベンチマークにおける、最先端のLLMを5つ対象とした大規模な実験を、最先端のベースライン5つとの比較により行った結果、RECRLの顕著な有効性が示された。例えば、RECRLは、すべての最先端ベースラインに対して、平均Pass@1が1.23%-5.62%向上する。