MetaKE：双階層最適化によるメタ学習に整合した知識編集

要旨: Knowledge editing (KE) は、一般的な能力を乱すことなく、Large Language Models (LLMs) の特定の知識を正確に修正することを目指します。最先端の手法は、オープンループ制御の不整合に悩まされています。私たちは重要な「Semantic-Execution Disconnect」（意味-実行の断絶）を特定します：意味論的ターゲットは、下流の実現可能領域からのフィードバックを受けずに独立して導出されます。この不整合は、有効な意味的ターゲットが禁止領域に落ち込み、勾配の切断と編集の失敗を招くことがよくあります。このギャップを埋めるために、MetaKE（Meta-learning Aligned Knowledge Editing）を提案します。KEを二層の最適化問題として再定義する新しいフレームワークです。静的な計算から脱却し、MetaKEは編集ターゲットを学習可能なメタパラメータとして扱います。上位レベルの最適化子は編集後の性能を最大化する実現可能なターゲットを追求し、下位レベルのソルバーが編集を実行します。複雑なソルバーを微分可能性の観点で扱う課題に対処するため、構造勾配プロキシを導出し、編集可能性の制約をターゲット学習フェーズへ明示的に逆伝搬させます。理論分析は、MetaKE が自動的に編集方向をモデルの実現可能な多様体に整合させることを示します。広範な実験は、MetaKE が強力なベースラインを大幅に上回ることを確認し、知識編集に新しい視点を提供します。