トランスフォーマーにおけるグリッドワールド表現は予測幾何を反映する

要旨：次のトークン予測子は、潜在的な世界とその規則の内部表現を発展させるように見える。
このようなモデルの確率的性質は、世界の構造と確率分布の幾何学との深い結びつきを示唆する。
この関係をより正確に理解するために、制御された設定として最小限の確率過程を用いる：あらかじめ定められたステップ数の後に固定された終点に到達しなければならない、二次元格子上の制約付きランダムウォーク。
この過程の最適な予測は、ターゲットに対する歩行者の位置と残り時間の枠組みによって決定される十分ベクトルのみに依存する。言い換えれば、確率分布は世界の幾何学によってパラメータ化される。
これらのウォークの正確な分布からサンプルしたプレフィックス上でデコーダーのみのトランスフォーマーを訓練し、それらの内部活性化を解析的に導出された十分ベクトルと比較する。
モデルやレイヤーを跨いで、学習された表現は正解の予測ベクトルと強く一致し、しばしば低次元である。
これは、世界モデルのような表現がデータ自体の予測幾何学に直接遡ることができる、具体的な例を提供する。
簡略化されたおもちゃのシステムで実証されたとしても、この分析は、最適な予測を支える幾何学的表現が、ニューラルネットワークが文法的および他の構造的制約を内部化する方法を研究する際に有用な視点を提供し得ることを示唆している。