Mambaにおける長さ一般化を画像再構成で探る

要約: Mamba は、低い計算複雑性とトランスフォーマーに対する競争力のある性能のため、汎用的なシーケンスモデルとして広く関心を集めています。
しかし、推論時のシーケンス長が学習時に見られた長さを超えると、性能が低下することがあります。
この現象を、Mamba が画像パッチの列から画像を再構成する視覚タスクを用いて研究します。
シーケンス処理の異なる段階での再構成を分析することで、学習中に出会ったシーケンス長の分布に対して Mamba が定性的に挙動を適応させることを明らかにし、その結果、この範囲を超えて一般化できない戦略が生じることが示されます。
我々の分析を補足するために、学習時のシーケンス長全体で性能を改善する長さ適応型の Mamba を導入します。
我々の結果は、Mamba における長さ一般化について直感的な視点を提供し、アーキテクチャを改善する方向性を示唆します。