Editing Anchor Compressionによる逐次モデル編集の制約
arXiv cs.CL / 2026/4/13
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、逐次的なモデル編集が蓄積されるにつれて、LLMのパラメータ行列が先行状態から大きく逸脱し、元の知識の結びつきを損ね、下流タスクにおける汎用能力を低下させることを見出す。
- そこで、編集アンカー圧縮（Editing Anchor Compression: EAC）を提案し、編集情報を選択した「編集アンカー」に圧縮することで、逐次編集中のパラメータのドリフトを制限する。
- EACは、新しい関係性を取り込みつつ、モデルが編集前の能力をより効果的に保持できるよう変更を制約することを目指す。
- 3つのLLMと4つのタスクに対し、2つの既存の編集手法へEACを適用した実験では、汎用能力の70%以上を維持し、ベースライン手法よりも編集知識をより良く保持できることが示される。
- 全体として、本研究は、完全な再学習を必要とせずに逐次モデル編集の信頼性を高めるための、的を絞った手法を提供する。
