PhysNeXt: リモート光電式脈波測定のための次世代デュアルブランチ構造化アテンション融合ネットワーク

要旨: リモートフォトプレチスモグラフィー（rPPG）は、心拍の拍動によって誘発される顔の皮膚の微妙な色変化を分析することにより、心拍数や他のバイタルサインを非接触で測定できる。現在のrPPG手法は主に、生の動画からのエンドツーエンドモデリング、または中間の空間-時間マップ（STMap）表現のいずれかに基づいています。前者は完全な時空間情報を保持し、微妙な心拍関連信号を捉えることができますが、モーションアーチファクトや照明変動による顕著なノイズも導入します。後者は複数の顔の関心領域の時間的色変化を、コンパクトな2次元表現として積み重ね、データ量と計算量を大幅に削減します。ただし、一部の高周波のディテールは失われることがあります。相互の強みを効果的に統合するために、動画フレームとSTMap表現の両方を共同で活用するデュアル入力の深層学習フレームワークであるPhysNeXtを提案します。時空間差分モデリングユニット、クロスモーダル相互作用モジュール、構造化されたアテンションベースのデコーダを組み込むことにより、PhysNeXtは脈信号抽出の堅牢性を協調的に高めます。実験結果は、PhysNeXtが困難な条件下でより安定し、より細かなrPPG信号の回復を達成することを示しており、ビデオとSTMap表現の結合モデリングの有効性を検証しています。コードは公開される予定です。