グラフ信号処理はMamba2と出会う：デルタ変調による適応型フィルタバンク

Abstract

状態空間モデル（SSM）は、線形時間の再帰によって注意機構に対する効率的な代替手法を提供します。近年のSSMベースの言語モデルであるMamba2は、選択的な入力ゲーティングとマルチヘッド構造を用い、並列計算と強力なベンチマーク性能を可能にします。しかし、そのマルチヘッド再帰は独立に動作しており、構造化された利用や解析が行われていません。本研究では、効率的なSSMのための階層型ADaptiveフィルタバンク（Hierarchical ADaptive filter bank for Efficient SSMs: HADES）と呼ぶ新しい手法を提案します。HADESは、グラフ信号処理（GSP）に着想を得た枠組みであり、Mamba2を線グラフ上の適応フィルタバンクとして再解釈します。階層アーキテクチャは、パラメータ{ Delta}への構造化されたバイアスによって実現される、グローバルなローパス挙動のための共有フィルタと、ローカルなハイパス挙動のためのエキスパートフィルタの2種類のフィルタを導入します。HADESは、言語モデリング、常識推論、長文脈のリトリーバルといったさまざまなベンチマークにおいて、Mamba2を含むベースラインモデルと同等の性能を達成しつつ、元のパラメータの58.9%のみを使用します。これにより、HADESはGSPとニューラルシーケンスモデリングを橋渡しし、状態空間モデル内において効率的で階層的かつ解釈可能なフィルタリングを実現します。