大規模言語モデルにおけるルールレベル知識の分散マルチレイヤ編集

Abstract

大規模言語モデルは、孤立した事実だけでなく、象徴的な表現、自然言語による説明、具体的な実例にまたがる推論を支える規則も記憶しています。しかし、ほとんどのモデル編集手法は、事実レベルの知識を対象として構築されており、局所的な介入によって目標の編集が達成できると仮定しています。この仮定は、単一の規則が複数の相互に依存する形態間で一貫していなければならない、規則レベルの知識には当てはまりません。本研究では、規則レベルの知識編集に関する機械論的な調査を通じてこの問題を検討します。この調査を支えるために、数学と物理にまたがる、手作業で検証済みの規則を80から200へ拡張したRuleEditベンチマークを提案します。きわめて粒度の細かい因果トレーシングにより、トランスフォーマ層における規則知識の形（フォーマット）ごとの組織化が明らかになります。式と記述はより初期の層に集中し、一方で実例は中間層とより結びついています。これらの結果は、規則知識が一様に局在しているわけではないため、単一層あるいは連続したブロックへの介入だけでは、確実に編集できないことを示唆しています。この洞察に基づき、Distributed Multi-Layer Editing (DMLE) を提案します。DMLEは、式と記述に対して共有された初期層の更新を適用し、実例に対しては別個の中間層の更新を適用します。標準的な編集指標において競争力を維持しつつ、DMLEは規則レベルの編集性能を大幅に高めます。平均すると、DMLEは、GPT-J-6B、Qwen2.5-7B、Qwen2-7B、LLaMA-3-8Bのうち最も強いベースラインに比べて、それぞれ実例の移植性と規則の理解を13.91ポイントと50.19ポイント向上させます。コードは https://github.com/Pepper66/DMLE で公開されています。