大規模言語モデルにおける複数の文脈内知識更新に伴う取得バイアスの診断

概要: LLMは、文脈内で同じ事実が複数回改訂される可能性のある知識集約的なタスクで広く用いられています。これまでの研究が1回の更新や単一の衝突に焦点を当てていたのとは異なり、複数の更新が生じるシナリオには、取得時に競合する複数の歴史的に有効なバージョンが含まれますが、依然として十分には探究されていません。この課題は認知心理学のAB-AC干渉パラダイムに似ています：同じ手掛かりAが順次BとCと関連付けられると、古い結びつきと新しい結びつきが取得時に競合し、バイアスが生じます。この着想に触発され、Dynamic Knowledge Instance (DKI) 評価フレームワークを導入し、同じ事実の複数の更新を、手掛かりと更新された値の列を対にした形式としてモデルを評価し、エンドポイント・プロービングを用いて最も早い（初期）状態と最新（現在）状態を評価します。多様なLLMにわたって、更新が増えるにつれて取得バイアスが強まることを観察し、初期状態の精度は高いままである一方、最新状態の精度は大幅に低下します。アテンション、隠れ状態の類似性、出力ロジットの診断分析は、これらの信号がより平坦になり、エラー時の識別力が弱くなることをさらに示し、最新の更新を特定する安定な根拠をほとんど提供しません。最後に、認知に触発されたヒューリスティック介入戦略はわずかな改善にとどまり、バイアスを排除するには至りません。我々の結果は、長い文脈における知識更新を追跡・追従する際の継続的な課題を明らかにしています。