自己実行シミュレーションがコーディングモデルを改善する

要旨: LLMが一貫して正しいコードを生成できるようにするための有望な研究方向性は、特にLLMが生成するコードについて、プログラムの実行を適切に見積もることができないという問題に取り組むことにある。本研究では、コードLLMを段階的にプログラム実行をシミュレートするよう訓練でき、その能力を活用して競技プログラミングの性能を向上できることを示す。我々の手法は、実際の実行に基づくテキスト的説明とともに、自然言語の実行トレースに対する教師あり微調整を行い、さらに検証可能な報酬を用いた強化学習を組み合わせる。補完的な2つの目的を導入する。1つは、コードと入力を与えたときの出力予測であり、もう1つは、真の実行フィードバック、または自ら予測した実行フィードバックのいずれかを用いて競技プログラミング課題を解くことである。これらの目的により、モデルは複数の候補解に対して自己検証を行い、テスト実行をシミュレートすることで反復的に自己修正できるようになる。複数の競技プログラミングベンチマークにおいて、本手法は標準的な推論アプローチに対して一貫した改善をもたらす。さらに、実行シミュレーションの役割とその限界を明らかにするためのアブレーションおよび分析も提示する。