アテンションを超えて: 球面カーネル演算子による真の適応型世界モデル

要約: 世界モデルベースの人工知能の追求は、主に高次元の観測をパラメータ化された潜在空間へ射影し、そこに遷移ダイナミクスを学習することに依存してきた。
しかし、この従来のパラダイムは数学的に欠陥がある。単に多様体学習問題を潜在空間へ移しているだけだ。
基礎となるデータ分布が変化すると、潜在的な多様体もそれに応じて移動し、予測演算子は新しいトポロジー構造を暗黙のうちに再学習させられる。
さらに、古典的な近似理論によれば、ドット積アテンションのような正の演算子は必然的に飽和現象に悩まされ、予測能力を恒久的にボトルネック化し、次元の呪いに対して脆弱になる。
本論文では、コアとなる予測機構を再定義することにより、世界モデル構築の数学的に厳密なパラダイムを定式化します。
ライアン・オ'Dowdの基礎的な研究に触発され、標準的なアテンションを置換するフレームワークとして Spherical Kernel Operator (SKO) を紹介します。
未知データ多様体を統一された周囲超球面へ射影し、局所的な超球面（Gegenbauer）多項式の列を利用することにより、SKO はターゲット関数の直接積分再構成を行います。
この局所化された球面多項式カーネルは厳密には正ではないため、飽和現象を回避し、近似誤差の境界は周囲の次元ではなく内在的な多様体の次元 q のみに厳密に依存します。
さらに、その正規化されていない出力を真の測度サポート推定器として形式化することにより、SKO は環境の真の遷移ダイナミクスを、エージェントの観測頻度のバイアスから数学的に切り離します。
経験的評価は、SKO が収束を著しく加速し、自己回帰言語モデリングにおいて標準的なアテンションのベースラインを上回ることを確認しています。