大規模言語モデルにおけるメカニスティック回路ベースの知識編集
arXiv cs.CL / 2026/4/8
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、大規模言語モデルにおける知識編集のためのメカニスティックで回路ベースの枠組みであるMCircKEを導入し、動的な状況下で事前学習済みの知識をより確実に更新することを目指している。
- 推論ギャップを対象とし、推論タスクの背後にある因果回路を対応付けることで、事実が保存されている場所だけでなく、複数ステップの連鎖を通じてその論理的帰結がどのようにルーティングされるかも含めて捉える。
- MCircKEは、「マップ＆アダプト」手順を実行し、特定された回路内のパラメータだけを外科的に更新することで、広範または孤立した事実パッチを適用するのではなく、必要な箇所に限定して編集する。
- MQuAKE-3Kベンチマークでの実験により、知識編集後の多ホップ推論において有効性が向上することが示されている。
