SCAN: 生涯知識編集のための疎回路アンカー解釈可能ニューロン

要旨：大規模言語モデル（LLMs）は、連続的な知識編集の過程で壊滅的な忘却と崩壊を経験することが多い。この脆弱性は、支配的な密編集パラダイムに起因し、モデルをブラックボックスとして扱い、粗粒度のパラメータ介入に依存することにより、保存された知識を不可避に乱してしまう。これに対処するため、Sparse Circuit Anchored Neuron に基づくスパース編集フレームワークである SCAN を提案する。SCAN は Sparse Transcoders を用いて知識回路を構築することにより、編集を機構認識型の操作へと変換する。Gemma2、Qwen3、Llama3.1 に対する CounterFact、ZsRE、WikiFactDiff における実験は、SCAN が優れた性能を発揮し、3,000 回の連続編集を経ても MMLU や GSM8K のようなベンチマークでモデルの整合性を維持することを示しており、他の既存手法は編集が蓄積されるにつれて徐々に劣化し、最終的にはモデル崩壊に至る。