セマンティック・ルーティングベースの LoRA による可逆的な生涯モデル編集

要旨: 実世界のダイナミックな進化は、大規模言語モデル（Large Language Models）内でのモデル編集を必要とします。既存の手法はモジュール分離またはパラメータ効率性の高い戦略を模索する一方で、継続的な更新による意味論的ドリフトや知識忘却に悩まされています。これらの課題に対処するため、我々は SoLA（セマンティック・ルーティングベースの LoRA フレームワークによる生涯モデル編集）を提案します。SoLA では、各編集は独立した LoRA モジュールとしてカプセル化され、トレーニング後に凍結され、入力へセマンティック・ルーティングによってマッピングされ、セマンティック・マッチングにより LoRA モジュールを動的に活性化します。この機構は、クラスタ更新によって生じる意味論的ドリフトを回避し、パラメータ共有から生じる壊滅的忘却を緩和します。より重要なことに、SoLA はセマンティック・ルーティングからキーを削除することで特定の編集を正確に取り消すことをサポートし、モデルの元の挙動を回復します。現時点の知見では、この可逆的なロールバック編集機能は既存の文献で初めて達成されたと考えられます。さらに、SoLA は意思決定プロセスを編集済みのレイヤに統合し、補助的なルーティングネットワークを不要にし、エンドツーエンドの意思決定プロセスを可能にします。広範な実験により、SoLA は編集された知識を効果的に学習・保持し、正確・効率・可逆性を備えた生涯モデル編集を実現することを示しています。