EventFace：構造駆動型の時空間モデリングによるイベントベース顔認識

概要: イベントカメラは、照明への頑健性とプライバシーに配慮しやすいという固有の利点により、顔認識のための有望なセンシング手段を提供します。しかし、イベントストリームは従来のRGBベースの顔認識システムが依拠する安定したフォトメトリックな見え（見え方）を欠くため、イベントベースの顔認識は、剛体的な顔の動きと個々の顔の幾何により形作られる、構造駆動型の時空間的なアイデンティティ表現をモデル化すべきだと我々は主張します。イベントベースの顔認識専用データセットが依然として不足しているため、我々は剛体的な顔の動きのもとで取得した小規模なイベントベース顔データセットである EFace を構築します。この限られたイベントデータから効果的に学習するために、さらに、空間構造と時間的ダイナミクスを統合してアイデンティティモデリングを行う、イベントベース顔認識のためのフレームワーク EventFace を提案します。具体的には、事前学習済みのRGB顔モデルからイベント領域へ構造的な顔の事前知識を転移するために、低ランク適応（Low-Rank Adaptation: LoRA）を用い、それによってアイデンティティモデリングのための信頼できる空間的基盤を確立します。この基盤の上で、時間的特徴を明示的に符号化するための Motion Prompt Encoder（MPE）と、それらを空間的特徴と融合して、アイデンティティに関連するイベントパターンの表現を強化するための Spatiotemporal Modulator（STM）をさらに導入します。大規模な実験により、EventFace は評価したベースラインの中で最良の性能を達成し、ランク1の識別率が 94.19%、等価誤り率（EER）が 5.35% であることが示されます。さらに、EventFace は、競合手法よりも劣化した照明下でより強い頑健性を示すことが結果から分かります加えて、学習された表現は、テンプレートの再構成可能性が低いことが観察されます。