モデルは合意したが、学習はしなかった：大規模言語モデルにおける表層コンプライアンスの診断

概要: 大規模言語モデル（LLM）は、膨大な世界知識をパラメトリックメモリとして内部化しますが、必然的に、元となるコーパスに由来する陳腐化や誤りも引き継いでしまいます。したがって、これらの内部表現の信頼性と可塑性を確保することは、信頼できる実世界での導入に不可欠です。知識編集は、再学習を行わずにメモリを外科的に修正するための重要なパラダイムを提供します。しかし、近年の編集者は標準ベンチマークで高い成功率を示している一方で、特定のプロンプト条件下での出力を評価することに依拠する現在の評価フレームワークが、本当に記憶（メモリ）が改変されたことを確実に認証できるのかは依然として疑問が残ります。本研究では、実世界の適用環境をよりよく反映する、インコンテキスト学習（ICL）設定下でモデルに識別的な自己評価を行わせる、単純な診断フレームワークを導入します。これは、メモリ改変によって生じる微妙な振る舞いの差異を精査するために特に設計されています。この探索により、Surface Compliance（表面準拠）という広範な現象が明らかになります。すなわち、編集者は、内部の信念を構造的に上書きすることなく、標的出力を単に模倣するだけでベンチマークのスコアを高く達成できてしまうのです。さらに、再帰的な改変は表象上の残滓を蓄積し、その結果として認知的不安定性を引き起こし、モデルのメモリ状態の可逆性を恒久的に低下させることも分かりました。これらの知見は、現在の編集パラダイムに内在するリスクを浮き彫りにし、信頼できる長期的・持続可能なLLMシステムを構築するうえで、堅牢なメモリ改変が果たす極めて重要な役割を強調するものです。コードは https://github.com/XiaojieGu/SA-MCQ で利用可能です。