選ばれなかった道：プログラム実行の推論における二重性

概要: 大規模言語モデル（LLM）は、多様なコーディング課題において顕著な能力を示してきました。しかし、その導入には、表面的なパターンに頼るのではなく、プログラムの実行を真に理解することが必要です。既存のベンチマークは主として、特定の入力に結び付いたプログラムの性質（例: コードカバレッジ、プログラム出力）を予測することに焦点を当てています。その結果、動的なコード推論に関する見方が狭くなり、データ汚染の影響を受けやすくなります。私たちは、プログラム実行の理解には、その本質的な二面性を、2つの補完的な推論課題を通じて評価することが必要だと主張します:（i）与えられた入力に対して、プログラムの観測される振る舞いを予測すること、そして（ii）入力が特定の振る舞い目標に向けてどのように変異されなければならないかを推論すること、です。これら2つの課題は、実行フローに関するモデルの因果的理解を共同で検証します。私たちはこの二面性を、445組のペアインスタンスからなるベンチマークであるDexBenchで実装し、13のLLMを評価しました。結果は、二経路の推論が、動的コード理解のための頑健で識別力のある代理指標を提供することを示しています。