コードライブラリ幻覚の検出および軽減のための静的解析手法に関する実証的分析

要旨: 大規模言語モデルは、広範な研究にもかかわらず、コードを生成する際、とりわけライブラリを使用するときに幻覚を起こし続けます。ライブラリの使用を要求するNL-to-codeベンチマークにおいて、私たちは、LLMが応答の8.1〜40%で存在しないライブラリ機能を用いたコードを生成することを見出しました。幻覚の検出と緩和のための直感的なアプローチの1つは静的解析です。本論文では、静的解析ツールが解決できることと、できないことの両面に関して、その可能性を分析します。静的解析ツールは、すべてのエラーの16〜70%と、ライブラリ幻覚の14〜85%を検出できることが分かりました。性能は、LLMとデータセットによって変動します。手作業による分析により、静的手法ではもっともらしく検出し得ない事例を特定し、これにより可能性の上限を48.5%から77%へと示します。全体として、私たちは、静的解析手法が幻覚の一部の形態に対処するための安価な方法であることを示し、またそれらが常にどこまで問題を解決できないのかを定量化します。