言語モデルにおける関係バインディングのセルベース表現

要旨: 談話（ディスコース）を理解するには、実体（エンティティ）と、それらの間に成り立つ関係を追跡する必要がある。大規模言語モデル（LLM）は関係推論において良好に機能する一方で、実体・関係・属性を束縛する（バインドする）仕組みはなお不明である。我々は談話レベルの関係束縛を研究し、LLMがそれを Cell-based Binding Representation（CBR）によって符号化していることを示す。CBRは低次元の線形部分空間であり、各「セル」は実体—関係のインデックス対に対応し、束縛された属性は推論時に対応するセルから取り出される。実体と関係のインデックスで注釈が付けられた、制御された複数文データを用いて、部分的最小二乗回帰（Partial Least Squares regression）により属性トークンの活性化からこれらのインデックスをデコードすることで、CBR部分空間を同定する。領域（ドメイン）をまたいで、また2つのモデル系統においても、インデックスは線形にデコード可能であり、射影空間上では格子状の幾何構造を形成する。さらに、文脈に固有なCBR表現は活性化空間上の平行移動ベクトルによって関連しており、これにより文脈をまたいだ転移が可能になることを見出す。最後に、アクティベーション・パッチングにより、この部分空間を操作すると関係予測が体系的に変化し、それを撹乱すると性能が低下することを示す。これは、LLMが関係束縛のためにCBRに依存しているという因果的証拠を与える。