位相ベクトル・トランスフォーマー: 単位円上でのアテンションボトルネックを解消する

要約: Transformerモデルはシーケンス学習を再定義してきたが、ドット積自己注意は長い文脈を持つ時系列に対して二次的なトークン混合ボトルネックを導入する。私たちは \textbf{位相トランスフォーマー} ブロックを導入します。これは位相ネイティブな代替手段で、S^1 上の単位円多様体でシーケンス状態を表現します。各ブロックは、軽量な学習可能な位相シフトとパラメータ不要の離散フーリエ変換（DFT）トークン結合を組み合わせ、明示的なアテンションマップなしで全体的に \mathcal{O}(N\log N) の混合を実現します。これらのブロックを積み重ねることで \textbf{大規模位相モデル (LPM)} が定義されます。我々は、合成の多周波数ベンチマーク上で自己回帰型の時系列予測に対してLPMを検証します。非常にコンパクトなパラメータ予算で動作するLPMは、安定したグローバルダイナミクスを学習し、従来の自己注意ベースラインと比較して競争力のある予測性能を達成します。我々の結果は、明示的な効率性と性能のフロンティアを確立し、時系列の大規模モデルスケーリングが、幾何制約下の位相計算と決定論的なグローバル結合から生じ得ることを示している。振動領域におけるスケーラブルな時系列モデリングへの実用的な道を提供する。