大規模言語モデルにおける人間のようなワーキングメモリ干渉

要旨: 知的システムは、動的な環境や変化する目標に適応するために、タスクに関連する情報をオンライン上で維持し、操作しなければなりません。この能力はワーキングメモリとして知られており、人間の推論と知能の基盤です。およそ1000億個のニューロンを持つにもかかわらず、生物学的システムと人工システムの双方がワーキングメモリに限界を示します。そこで重要な疑問が生じます。なぜ、大規模言語モデル（LLM）はそのような限界を示すのでしょうか？トランスフォーマーは注意（attention）を通じて過去の文脈に完全にアクセスできるのに。私たちは、2層のトランスフォーマーはワーキングメモリ課題を完全に解くように学習できる一方で、事前学習済みの多様なLLM群はいずれもワーキングメモリの限界を示し続けることを見出しました。特に、LLMは人間で観測される干渉（interference）の特徴的なパターンを再現します。すなわち、メモリ負荷が増えると性能が低下し、さらに近時性（recency）と刺激の統計に偏ります。モデル間で見ると、より強いワーキングメモリ容量は、標準的なベンチマークにおけるより広い範囲の熟達と相関しており、人間における一般知能との結びつきを反映しています。しかし、ワーキングメモリ性能にはかなりのばらつきがあるにもかかわらず、LLMは驚くほど共通の計算メカニズムへ収束します。単に文脈から関連するメモリアイテムを直接コピーするのではなく、モデルは複数のメモリ項目を絡み合った表現（entangled representations）として符号化し、その成功的な想起は、干渉制御に依存します。つまり、読み出し対象を分離するために、タスクに無関係な内容を能動的に抑制します。さらに、刺激内容情報を抑制することを狙った介入は性能を向上させ、表象（表現）の干渉に対する因果的な支持を与えます。これらの知見は、事前学習済みLLMにおけるワーキングメモリの中核的な制約として、表象の干渉を特定するものです。生物学的および人工的システムにおけるワーキングメモリの限界は、干渉下でタスクに関連する情報を選択するという、共通の計算上の課題を反映している可能性が示唆されます。