題目:Pythonのためのニューラルデバッガに向けて

要旨:大規模言語モデル（LLM）をPythonの実行トレースで学習させることで、それらはコード実行に根付くようになり、Python全プログラムの行ごとの実行予測が可能になり、実質的にニューラル・インタプリタ（FAIR CodeGen Team ほか, 2025）へと変わる。しかし、開発者がプログラムを逐一ステップ実行することは稀である。代わりに、デバッガを使って特定のブレークポイントで実行を停止し、関連部分のみをステップ実行しながら、プログラム変数を検査または変更する。既存のニューラル・インタプリタ手法には、このような対話的な制御が欠けている。この制限に対処するため、我々はニューラルデバッガを導入する。ニューラルデバッガとは、従来のデバッガを模倣する言語モデルであり、関数へのステップイン／ステップオーバー／ステップアウトといった操作に加え、特定のソース行にブレークポイントを設定することを支援する。我々は、ニューラルデバッガが――大規模LLMの微調整によって得られる場合、あるいは小規模モデルをスクラッチから事前学習することによって得られる場合のいずれでも――デバッガ操作に条件付けされて、順方向の実行（将来の状態や出力の予測）と逆方向の実行（過去の状態や入力の推定のいずれも）を確実にモデル化できることを示す。CruxEvalで評価したところ、我々のモデルは出力予測タスクと入力予測タスクの両方で強い性能を達成し、頑健な条件付き実行のモデリングを示している。本研究は、将来のエージェント型コーディングシステムに向けた第一歩を与えるものであり、ニューラルデバッガが模擬デバッグ環境のための世界モデルとして機能し、実行フィードバックを提供したり、エージェントが実際のデバッグツールと相互作用できるようにしたりすることを可能にする。この能力は、より強力なコード生成、プログラム理解、そして自動デバッグのための基盤を築くものである。

ブックマーク

書誌および引用ツール

本記事に関連付けられたコード、データ、メディア

Demos

レコメンダーおよび検索ツール