バックワード・スプレッディングからフォワード・リプレイへ：LLMパラメータ編集におけるターゲット構築の再検討
arXiv cs.CL / 2026/5/4
📰 ニュースModels & Research
要点
- 多くのLLMパラメータ編集手法では、「バックワード・スプレッディング」として、アンカー層で理想的なターゲット隠れ状態を計算し、それを手前の複数層へ分配して共同編集を行いますが、その基礎は体系的に検討されてきませんでした。
- 本論文は、バックワード・スプレッディングの能力の限界、実運用上の制約、そして起こり得る失敗モードを明らかにするための構造的な分析を行います。
- そこで、これを「フォワード・リプレイ（フォワード伝播）」に置き換え、編集の最初の層でアンカー点を最適化してから前方へ伝播させ、後続の編集層すべてに対して正確で相互に整合するターゲット隠れ状態を得ることを提案します。
- 提案手法は既存手法と同等の計算複雑度を保ちながら、層ごとのターゲット精度を向上させ、LLMパラメータ編集のパイプラインにも邪魔をせず導入しやすい点が利点です。
