「差分を使うべきか、使わないべきか？」効率的なLLMベースのコード編集のための構造対応・適応型出力フォーマット

概要: 大規模言語モデル（LLM）はコード編集にますます利用されている一方で、広く普及している「全文生成」パラダイムには、深刻な効率ボトルネックがあり、低遅延かつ低コストを要求される対話型コーディング支援に課題をもたらしています。モデル能力のスケーリングに主に焦点が当てられているにもかかわらず、編集フォーマット自体はモデル学習においてほとんど見過ごされてきました。本論文ではまず、従来の差分（diff）フォーマットに対する体系的な調査を行い、脆弱なオフセットや分断されたハンク（hunk）が、LLMにとって生成を非常に不自然にしていることを明らかにします。これに対処するために、BlockDiff と FuncDiff の2つの、構造を意識した差分フォーマットを提案します。これらは、制御構造や関数のような文法的に首尾一貫した単位の「ブロックレベルの書き換え」として変更を表現します。さらに、AdaEdit と呼ぶ一般的な適応的編集戦略を提案し、LLMに対して、指定された diff フォーマットと全文コードの間で、最もトークン効率のよいフォーマットを動的に選択するよう学習させます。大規模な実験の結果、構造を意識した差分フォーマットと組み合わせた AdaEdit は、一貫して全文生成と同等の精度を達成し、長いコードの編集タスクにおいて遅延とコストの両方を 30% 以上削減できることが示されます。