回転を学ぶ：時系列とセマンティックなロータリー符号化による逐次モデリング

Abstract

すべてのTransformerアーキテクチャは、意味的埋め込み空間における豊かな表現を学習するために莫大な容量を割いています。しかし、Rotary Positional Embeddings（RoPE）が作用させる回転多様体は、固定された手作りの構造として扱われてきました。そこには、離散的な序数インデックスだけが投入されているのです。私たちは、この回転空間が、注意機構における表現力の見落とされた第2の次元であると主張します。そして、その体系的な探索が、注意ベースのアーキテクチャに対して新たな扉を開く可能性があります。複素数との類推は示唆的です。実軸に直交し、かつそれと独立な虚軸を導入することで、「不可能だと思われていた」新しい代数構造が解放されたのと同様に、回転多様体を学習可能で、信号に条件付けられた空間として扱うことは、注意における直交する自由度を切り開きます。この捉え方では、トークン埋め込みは表現の意味的（実）成分――トークンが「何を意味するか」――を符号化し、回転はその動的（虚）成分――時間・位置・コンテキストにわたって他のすべてのトークンとどのように関係するか――を符号化します。 このアイデアを具体化したものとして、SIREN-RoPE を提案します。これは、双方向ブランチの Sinusoidal Representation Network（SIREN）を通じて、回転次元を不均質な信号――連続的なタイムスタンプ、周期的な時間パターン、カテゴリ（分類）メタデータ――で満たします。概念実証として、生成型レコメンダをランキングモデルとして用い、大手ソーシャルネットワークのプロダクション規模のニュースフィードデータセットで評価します。その結果、この隠れた次元を有効化すると、計算オーバーヘッドがごくわずかなまま、キャリブレーション目的とランキング目的の双方で一貫した改善が得られることを示します。私たちはコミュニティに対し、回転空間を「解決済みの位置エンコーディングの細部」としてではなく、十分に活用されていない軸として捉えることを促します。そして、その豊かな構造が、代数において虚数単位が果たしたのと同じくらい、注意にとって決定的に重要であることが証明されるかもしれません。