スロットマシン：LLMが複数のエンティティを追跡する方法

概要: 言語モデルは、自らが持つ属性（属性情報）に対して実体（エンティティ）を結び付け、そのような結び付け関係を状況（コンテキスト）の中で複数維持する必要がある。我々は、複数の実体がトークン位置全体でどのように表現されるのか、そして単一のトークンが複数の実体に対する結び付け（バインディング）を担いうるのかを研究する。そこで、単一トークンの残差ストリーム活性化（residual stream activation）を分離して、現在記述されている実体と直前の実体の両方に関する情報を復元する、多スロットのプロービング（multi-slot probing）手法を導入する。この2種類の情報は、それぞれ「現在の実体（current-entity）」スロットと「過去の実体（prior-entity）」スロットに別々に符号化されており、かつ互いにほぼ直交している。これらのスロットの機能的役割を解析したところ、両者は異なる目的を果たしていることが分かった。現在の実体スロットと並行して、過去の実体スロットは、実体レベルの帰納（たとえば「物語の中でアリスの後に誰が出てくる？」）や、隣接する実体間の衝突（コンフリクト）の検出といった関係推論を支える。しかし、線形にデコード可能であっても、明示的な事実検索の問い（「物語の中で背が高い人は誰？」、「背が高い実体の名前は何？」）に使われるのは、現在の実体スロットだけである。この制約に整合的に、オープン重みモデルは、単一トークンに2つの主語-動詞-目的語の結び付けを強制する構文（例: 「アリスは食事を用意し、ボブは食べ物を消費する。」）を処理する際に、偶然に近い精度しか示さない。一方で、興味深いことに、最近のフロンティアモデルはこれを正しく解析できており、より洗練された結び付け戦略を開発している可能性が示唆される。全体として、我々の結果は、活性化の中で利用可能な情報と、モデルが実際に利用している情報との間にギャップがあることを明らかにし、現在／過去の実体スロット構造が、たとえば迎合（sycophancy）や欺き（deception）のように、同時に2つの視点を保持する必要があるふるまいの自然な基盤であることを示唆する。