PyTorchコンパイラにおける正しさバグの沈黙を解き明かす

要旨: AIインフラの性能最適化は、大規模言語モデル（LLM）の迅速な普及にとって重要です。深層学習（DL）モデル（LLMを含む）のための主要な最適化ツールであるPyTorchコンパイラ（torch.compile）は、しかるべき注目を集めてきました。しかし、torch.compileは正しさ（correctness）の不具合を起こしやすく、その結果、例外・クラッシュ・警告を発火させることなく、コンパイルされたDLモデルが誤った出力を生成することがあります。これらの不具合は、下流のLLMアプリケーションの信頼性に対して重大な脅威となります。PyTorchコミュニティのデータによれば、高優先度の課題のうち19.2%が、torch.compileの不具合によって誘発された、コンパイル済みDLモデルの誤った出力です。これは最も多い不具合カテゴリ（プログラムのクラッシュが19.57%）に次ぐ頻度です。とはいえ、これらの不具合を特に特徴づけ、それによって検出することを目的とした体系的な研究は行われていません。本論文では、torch.compileにおける正しさの不具合に関する最初の実証的研究を行い、その特徴を調べ、既存のファッザがそれらを検出するうえでどれほど有効かを評価します。調査結果に基づき、torch.compileにおける正しさの不具合の検出に特化した、概念実証（proof-of-concept）となるテスト手法であるAlignGuardを提案します。AlignGuardは、実証的研究から抽出した不具合の特徴を取り込み、正しさの不具合検出のために、既存のテストケースへLLMベースのテスト突然変異（mutation）を適用します。執筆時点で、AlignGuardは近年のtorch.compileにおいて23件の新しい正しさの不具合を検出することに成功しています。これらの不具合はすべてPyTorch開発チームによって確認または修正済みであり、そのうち半数以上（14/23）がさらに高優先度の不具合としてマークされていることから、本手法の有用性が裏づけられます。