CodeSpecBench: 実行可能な行動仕様生成のためのLLMベンチマーク

要旨: 大規模言語モデル（LLM）は自然言語からコードを生成できますが、意図されたプログラム挙動をどの程度まで捉えているかは不明なままです。前提条件と事後条件によって定義される実行可能な挙動仕様は、このような理解を評価するための具体的な手段を提供します。しかし、仕様生成に関する既存の研究は、評価手法、タスク設定、仕様の表現力という点で制約されています。我々は、実行ベースの評価プロトコルの下で実行可能な挙動仕様を生成するためのベンチマークである CodeSpecBench を導入します。CodeSpecBench は、関数レベルおよびリポジトリレベルの両方のタスクをサポートし、仕様を実行可能な Python 関数としてエンコードします。多様な現実のコードベースから構築されているため、正しさ（妥当な挙動を受け入れること）と完全性（不正な挙動を拒否すること）の両方を現実的に評価できます。CodeSpecBench で最先端の LLM 15 種類を評価したところ、リポジトリレベルのタスクで性能が急激に低下しており、最良のモデルでもパス率は 20.2% にとどまることが分かりました。さらに、仕様生成はコード生成よりも大幅に難しいことも判明しており、強いコーディング性能が必ずしも意図されたプログラム意味論の深い理解を反映するとは限らないことを示しています。我々のデータとコードは https://github.com/SparksofAGI/CodeSpecBench で公開されています。