RGB-イベントのための物体トラッキングにおけるイベント適応型状態遷移とゲート付き融合

概要: 既存のVision MambaベースのRGB-Event（RGBE）トラッキング手法は、静的な状態遷移行列を使用しているため、イベントの疎密に起因する変化へ適応できません。この硬直性により、疎なイベントストリームはモデリングが不十分になり（underfitting）、密なものは過学習になってしまいます。結果として、クロスモーダル融合の頑健性が低下します。これらの制約に対処するため、我々はDynamic State Space Model（DSSM）に基づくマルチモーダルかつ効率的なトラッキングフレームワークであるMambaTrackを提案します。我々の貢献は2つあります。第一に、イベントストリームの密度に基づいて状態遷移行列を動的に調整する、イベント適応型の状態遷移メカニズムを導入します。学習可能なスカラーが状態の進展速度を制御し、疎なイベントフローと密なイベントフローを異なる形でモデリングできるようにします。第二に、頑健なクロスモーダル統合のためのGated Projection Fusion（GPF）モジュールを開発します。このモジュールはRGB特徴をイベント特徴空間へ投影し、イベント密度とRGBの信頼度スコアから適応的なゲートを生成します。これらのゲートは、補完的な情報を保持しつつノイズを抑制することで、融合の強度を正確に制御します。実験の結果、MambaTrackはFE108およびFELTデータセットにおいて最先端の性能を達成することが示されました。その軽量な設計は、リアルタイムの組込みデプロイメントの可能性を示唆しています。