MMGait：マルチモーダル歩容認識に向けて

要旨: 歩行認識は、ユーザーの協力を必要とせずに距離のある環境で個人を同定するための、強力なバイオメトリクス技術として登場してきた。既存の多くの手法は主としてRGBに由来するモダリティに焦点を当てているが、現実世界の状況で必要となるマルチモーダルな協調やクロスモーダルな検索には十分に対応できていない。これらの課題を克服するために、我々はMMGaitを提案する。MMGaitは、RGBカメラ、深度カメラ、赤外カメラ、LiDARスキャナ、そして4Dレーダーシステムを含む5種類の異種センサからのデータを統合した包括的なマルチモーダル歩行ベンチマークである。MMGaitは12のモダリティと、725人の被験者からなる334,060シーケンスを含み、幾何、フォトメトリック、およびモーションの各領域にわたる体系的な探索を可能にする。MMGaitに基づいて、モダリティの頑健性と補完性を分析するために、単一モダリティ、クロスモダリティ、およびマルチモーダルの各パラダイムに関する大規模な評価を行う。さらに、上記の3つの歩行認識パラダイムを1つのモデルの中で統一することを目的とした新しいタスク「Omni Multi-Modal Gait Recognition（オムニ・マルチモーダル歩行認識）」を導入する。また、多様なモダリティにわたって共有埋め込み空間を学習し、期待できる認識性能を達成するシンプルかつ強力なベースライン「OmniGait」も提案する。MMGaitベンチマーク、コードベース、および事前学習済みチェックポイントは、https://github.com/BNU-IVC/MMGait で公開されている。