SolidCoder：具体的な実行でLLMによるコード生成の「心的シミュレーションと現実のギャップ」を埋める

要旨: 最先端のコード生成フレームワークは、メンタル・シミュレーションに依存しています。そこでは、LLMが内部で実行をトレースし、正しさを検証するために思考上で推論します。私たちは、根本的な制約を明らかにします。それは、メンタル・リテラリティー・ギャップ（Mental-Reality Gap）です。モデルが実行トレースを幻覚し、その誤ったコードを自信をもって検証してしまう現象です。このギャップは、互いに直交する2つの次元に沿って現れます。ひとつは、仕様ギャップ（Specification Gap）で、計画の段階でエッジケースを見落とします。もうひとつは、検証ギャップ（Verification Gap）で、欠陥のあるコードに対して正しい挙動を幻覚します。私たちは、SolidCoderを提案します。シンプルな原則は「想像するな――実行せよ」です。S.O.L.I.D.アーキテクチャは、アルゴリズム設計の前にエッジケースへの注意を強制することで仕様ギャップと検証ギャップの両方に対処し、さらに、想像上のトレースを、プロパティベースのオラクルまたはサンドボックス化された実行に置き換えることで対応します。GPT-4oを用いることで、SolidCoderは最先端のpass@1性能を達成します。HumanEvalで95.7%（+0.6%p）、CodeContestsで77.0%（+4.3%p）、APPSで26.7%（+3.4%p）です。アブレーションの結果、最大の個別改善はエッジケースへの注意によるものであり、一方で、実行に根拠を与えることは、仕様改善では対処できない類型的に異なる誤りを捕捉することが分かりました。これらの改善は、RLで事後学習したモデルにも一般化されます。したがって、2つのギャップ次元を橋渡しすることが、頑健なコード合成に不可欠であることが裏付けられます。私たちは、将来の研究を促進するために、コードとフレームワークを公開します。