NeuroLip：イベント駆動型の時空間学習フレームワークによるクロスシーンの口唇動作ベース・ビジュアル話者認識

要旨: 唇の動きに基づくビジュアル話者認識は、音声手がかりが利用できない場合でも有効性を維持できる、無音・ハンズフリー・行動駆動型のバイオメトリック解決策を提供します。外見に依存した表現に大きく依存する従来手法と比べて、唇の動きは、安定した発話（構音）パターンと筋の協調によって駆動される被験者固有の行動ダイナミクスを符号化し、環境変化に対して本質的な安定性をもたらします。しかし、こうした頑健で微細なダイナミクスを捉えることは、従来のフレームベースカメラでは、モーションブラーや低いダイナミックレンジのために困難です。唇の動きがもつ固有の安定性を活用し、これらのセンシング上の制限に対処するために、私たちはNeuroLipを提案します。NeuroLipは、厳格ではあるが実用的なクロスシーン・プロトコルの下で微細な唇ダイナミクスを捉えるイベントベースの枠組みです。トレーニングは単一の制御された条件で実施され、認識は未見の視点や照明条件へと汎化しなければなりません。NeuroLipは、1) イベントの重みを適応的に調整する時間対応型ボクセル符号化モジュール、2) 雑音を抑制しつつ、縦方向に構造化された動きの情報を保持することで識別的な行動パターンを増幅する構造対応型空間エンハンサー、3) イベントの極性に符号化された運動方向の手がかりを保持する極性整合性正則化メカニズム、を備えます。体系的な評価を可能にするために、私たちはDVSpeakerを導入します。DVSpeakerは、4つの異なる視点および照明シナリオの下で記録された50人の被験者から成る包括的なイベントベースの唇運動データセットです。大規模な実験により、NeuroLipはマッチしたシーンにおいてほぼ完全な精度を達成し、クロスシーンに対して頑健に汎化できることが示されます。未見の視点で71%以上、低照度条件でほぼ76%を達成し、代表的な既存手法に対して少なくとも8.54%上回っています。データセットおよびコードは https://github.com/JiuZeongit/NeuroLip で公開されています。