大規模言語モデルにおける非逐語的（non-verbatim）記憶の再検討：エンティティの表層表記（surface form）の役割

Abstract

大規模言語モデル（LLM）がどのような種類の事実知識を記憶しているのかを理解することは、その信頼性と限界を評価するうえで不可欠です。エンティティベースのQAは、非逐語的な記憶を分析するための一般的な枠組みですが、典型的な評価では各エンティティを単一の正準的な表層形式で照会するため、特定の名前によるアクセスとは切り離して事実の記憶を切り分けることが難しくなっています。私たちはRedirectQAを提案します。これは、Wikipediaのリダイレクト情報を用いて、Wikidataの事実的トリプルを各エンティティに対するカテゴリ分けされた表層形式（別名、略語、綴りの異なる表記、そして一般的な誤りの形式を含む）と関連付ける、エンティティベースのQAデータセットです。13のLLMにわたって、表層形式に条件付けられた事実記憶を調べたところ、エンティティの表層形式だけを変えると予測結果がしばしば変化することが分かりました。この不整合はカテゴリに依存します。モデルは、エイリアスや略語といったより大きな語彙の変化よりも、小さな表記上の変化に対して頑健です。頻度分析はさらに、エンティティ側と表層側の両方の頻度が正確さと関連しており、エンティティの頻度が表層の頻度を超えて寄与することが多いことを示唆しています。全体として、事実の記憶は、純粋に表層に特化しているわけでも、完全に表層不変でもないようです。非逐語的な記憶を評価するうえで、表層形式の多様性が重要であることが強調されます。