忘却の幻影：LLMの忘却を評価するための動的フレームワーク

arXiv cs.AI / 2026/3/13

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

複雑な構造化クエリを用いてLLMの忘却をストレステストする動的フレームワークを提案し、既存の評価手法の脆さに対処します。
自動的に意味論的に等価なQ&Aプローブを生成し、既存の評価と整合するとともに、特にマルチホップ設定で新たな忘却の失敗を明らかにします。
活性化分析は単一ホップのクエリが支配的な計算経路に従う傾向があり、忘却手法によってそれらの経路が崩されやすいことを示します。一方、マルチホップのクエリは代替経路を使用する傾向があり、それらはしばしば健在です。
手動での忘却テストセットを必要とせず、実用的かつスケーラブルな評価を可能にします。著者はpipパッケージとコードを公開します。