階層型スパース注意モデルにおける長さ一般化の理解と改善

Abstract

長いコンテキストを効果的に処理することは、言語モデルにとって重要な課題である。標準的なTransformerは二次計算量と不十分な長さ外挿の性質によって制限される一方、スライディングウィンドウ注意や状態空間モデルのような代替アーキテクチャは、固定サイズのメモリのために、全コンテキストを効果的に活用する能力を犠牲にしている。極端な長さへの一般化に向けた有望なパラダイムとして、チャンクベースの疎注意が登場しているが、その成功を支える主要なアーキテクチャ原理は、まだ十分には解明されていない。本研究では、これらのモデルを体系的に分解し、その性能を駆動する中核となる要素を特定する。統一された枠組みと包括的なアブレーション研究を通じて、3つの設計原理の組み合わせが決定的に重要であることを示す： (1) 検索用の表現を生成するための専用CLSトークンを備えた、表現力のある非線形なチャンクエンコーダ； (2) 局所的な残差ストリームによって上書きされることなく、取得した大域情報を安定して統合するためのバイパス残差パス； (3) 学習時に選択の疎性を強制することで、学習時とテスト時の分布ギャップを埋めること。チャンク内の情報処理とランドマーク生成について、理論的な動機づけを与える。これらの原理を組み合わせることで、学習なしでの長さ外挿における新たな最先端を確立し、RULERおよびBABILongにおいて、4Kコンテキストで学習したモデルが3,200万トークンまで成功裏に一般化することを達成する。これらの発見は、将来の、非常に高能力な長コンテキスト言語モデルを開発するための、明確で実証的に裏付けられた設計原理のセットを提供する。