Fractional Rotation, Full Potential? 部分 RoPE の性能と収束の検証

Abstract: ロータリーポジショナルエンベディング（RoPE）は、相対位置情報をエンコードするためのトランスフォーマーアーキテクチャで一般的に用いられる選択肢です。以前の研究では特定の層で RoPE を省略することが検討されましたが、ロータリートランスフォーメーションを受ける隠れ次元の割合を変える影響はほとんど調査されていません。この設計選択は大幅なメモリ節約を生み出す可能性があり、長いコンテキスト長で特に重要になります。標準の RoPE キャッシュに対して最大10倍のメモリ節約を見つけつつ、最終的な損失は同等の水準に達します。本研究では、部分 RoPE が学習ダイナミクスと収束に及ぼす影響を、アーキテクチャとデータセットを横断して系統的に調査した研究を提示します。我々の知見には、いくつかの顕著なパターンが明らかになっています：(1) 次元のごく一部（約10%）に RoPE を適用すると、全 RoPE を使用する場合と同等の収束を達成する。(2) これらの傾向は、モデルサイズ、シーケンス長、品質の異なるデータセット、アーキテクチャにわたって一貫して保たれ、品質の高いデータは全体的な損失を低くし、ベンチマークの性能はほぼ同等となる。(3) NoPE（No Positional Encoding）で訓練されたモデルのいくつかは、学習軌道が不安定になることを示すが、最小限の RoPE 適用や QK-Norm によって緩和され、より高い損失へ収束する。これらの結果は、効率と学習安定性のバランスを図ろうとするモデル設計者へ、部分 RoPE の重要性を再評価しつつ、実用的な指針を提供します。