概要: 位置情報は言語モデリングにとって不可欠です。softmaxトランスフォーマでは、Rotary Position Embeddings（\textit{RoPE}）が\textit{固定角度}の回転によって位置を符号化します。一方、線形トランスフォーマでは、順序は入力依存の（選択的な）ゲーティングによって扱われ、そのゲーティングは過去のキー・バリュー対応に関して減衰します。選択性は一般に、言語関連タスクの性能を向上させることが示されています。これに着想を得て、\textit{Selective RoPE}、すなわち\textit{入力依存}の回転埋め込み機構を導入します。これは\textit{RoPE}を一般化し、線形トランスフォーマとsoftmaxトランスフォーマの両方において\textit{任意の角度}での回転を可能にします。softmax注意機構は、クエリ・キー対に対してこれらの回転の隠れた形をすでに実行しており、暗黙の位置構造が明らかになることを示します。さらに、状態空間モデルおよびゲート付き線形トランスフォーマでは、実部が忘却を担い、虚部が回転によって位置を符号化することを示します。提案手法を検証するために、ゲート付きトランスフォーマに\textit{Selective RoPE}を組み込みます。これにより、その入力依存の回転が、言語モデリングの性能や、コピー、状態追跡、リトリーブといった困難な系列タスクでの性能を改善することを実証します。
選択的ロタリー位置埋め込み（Selective Rotary Position Embedding）
arXiv cs.CL / 2026/4/27
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、入力依存のロタリー位置埋め込みである Selective RoPE を提案し、標準RoPEを一般化して、ソフトマックス型・線形トランスフォーマ双方で任意の角度による回転を可能にすると述べています。
- 著者らは、ソフトマックス注意機構がクエリとキーに対して暗黙的に回転のような操作を行っており、そこから位置に関する基礎的な構造が見えてくると主張しています。
- 状態空間モデルやゲート付き線形トランスフォーマの挙動と位置符号化の関係を整理し、実部が忘却、虚部が回転を通じた位置の符号化に対応する可能性を示します。
- 実験では、ゲート付きトランスフォーマにSelective RoPEを組み込むことで、言語モデリング性能が向上し、コピー、状態追跡、リトリーブといった難しい系列タスクでも効果が確認されたと報告しています。
