事前条件付きDeltaNet：線形漸化式のための曲率を考慮したシーケンスモデリング

Abstract

ソフトマックス注意の増大する長文コンテキストにおける計算上の制約に対処するため、いくつかの劣二乗（subquadratic）な再帰演算子が開発されてきました。本研究では、Mamba-2、DeltaNet、Gated DeltaNet（GDN）、Kimi Delta Attention（KDA）といったモデルを含めます。再帰の空間が広がるにつれて、それらを分類するための並行した研究の流れが生まれました。その有力な見方の1つが、テスト時回帰（test-time regression: TTR）フレームワークです。これは、再帰を、キーから値への線形写像を学習するオンライン最小二乗更新として解釈します。既存のデルタ則（delta-rule）に基づく再帰は、この目的に対する一次近似として捉えることができますが、特に最適化中における最小二乗損失の曲率を無視しています。本研究では、この点を解決するために、これらの再帰に対して前処理（preconditioning）を導入します。オンライン最小二乗の理論から出発し、ちょうど前処理された場合において、線形注意とデルタ則の間の同値性を導出します。次に、この理論を実践に落とし込むために、対角近似を提案します。これにより、デルタネット、GDN、KDAの前処理付きバリアントを導入できるようになり、さらにそれらを計算するための効率的なチャンク単位の並列アルゴリズムも併せて提供します。実験的に、提案する前処理付きデルタ則の再帰が、合成想起ベンチマークおよび340Mと1Bスケールの言語モデリングの双方において、一貫した性能向上をもたらすことを確認します。