CURE：LLMベースのレコメンデーションのための回路認識型アンラーニング

要旨: 大規模言語モデル（LLM）の最近の進歩により、ユーザの興味やアイテム属性について豊かな意味理解と推論を可能にすることで、レコメンダシステムに新たな機会が開かれました。しかし、プライバシー規制が厳格化するにつれ、ユーザデータをLLMベースの推薦（LLMRec）に組み込むことは重大なプライバシーリスクをもたらし、実運用において忘却（unlearning）アルゴリズムの重要性がますます高まっています。LLMRecの忘却に関する関心は高まっているものの、既存のほとんどの手法は、忘却目標と保持（retain）目標を重み付きで組み合わせ、それらをモデルパラメータに一様な方法で更新することで忘却を定式化しています。このような定式化では必然的に、2つの目標間で勾配競合（gradient conflicts）が生じ、その結果として最適化が不安定になり、効果のない忘却か、あるいはモデル有用性の深刻な劣化のいずれかにつながります。さらに、忘却手順は依然としてほぼブラックボックスのままであり、透明性と信頼性を損なっています。これらの課題に取り組むために、我々はCUREを提案します。CUREは、回路（circuit）を意識した忘却フレームワークであり、モデルの構成要素を機能的に異なる部分集合へと分解し、それらを選択的に更新します。ここで「回路」とは、タスク固有の振る舞いに因果的に責任を持つ計算サブグラフを指します。具体的には、アイテム推薦の基盤となるコア回路を抽出し、これらの回路内の個々のモジュールが忘却目標と保持目標にどのように寄与するかを分析します。この分析に基づき、これらのモジュールは、忘却固有、保持固有、そしてタスク共有のグループに分類され、各グループに機能に特化した更新則を適用することで、忘却中の勾配競合を緩和します。実世界のデータセットに対する実験により、提案手法が既存のベースラインよりもより効果的な忘却を達成することが示されました。