要旨: 遠隔フォトプレチスモグラフィ(rPPG)は、非接触で便利に生理学的計測を可能にします。既存の自己教師あり学習(SSL)手法は一般に、相関トラップに陥りがちです。すなわち、微弱で真のrPPG信号ではなく、データ中の最も支配的な周期信号、例えば高エネルギーの動きや照明ノイズを学習してしまう傾向があり、その結果としてモデルの汎化性能が低下します。これに対処するために、潜在rPPG信号を基礎となる物理的な生成源とみなし、そこから生じるピクセルの輝度(クロマ)変動をその視覚的な現れとして扱う、新しいSSLパラダイムであるPhysiological Causal Probing(PCP)を提案します。その中核となる発想は、受動的な相関学習から能動的で精密な介入へと転換することです。すなわち、提案したrPPG仮説に基づいて動画に対して介入を行い、介入後の変化が物理的な期待と一致するかどうかを検証します。PCPを実装するために、Interv-rPPGフレームワークを提案します。ここでは、PhysMambaFormerという名前のrPPG抽出器がrPPG信号を仮説として推定し、一方でControllable Physiological Signal Editorが、この仮説に基づいて動画に対してクロマ・ドメインでの精密な介入を行います。Interv-rPPGは、`Falsifiability via Nulling' と `Axiomatic Equivariance' により、その仮説の物理的な現実味を検証します。エディタは、動画の低周波クロマ成分に介入することで、rPPG信号の精密な編集を実現します。提案手法は、VIPL-HRやMMPDのような難しいデータセットにおいて、同一ドメインとクロスドメインの双方で性能を向上させます。さらに、複雑なクロスデータセット設定では教師ありベースラインを上回りつつ、介入メカニズムがわずかな残留クロマノイズを導入し得るクリーンなデータセットでは競争力を維持します。迷惑要因に対する感度の診断分析を含む大規模な実験により、PCPパラダイムが運動や照明のアーティファクトに対して効果的に耐性を持つことが示されます。
介入ベースの自己教師あり学習:因果プローブ・パラダイムによるリモートPPG(rPPG)
arXiv cs.CV / 2026/5/5
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- リモート光電容積脈波(rPPG)の自己教師あり学習では、真の微弱なrPPG信号よりも、運動や照明ノイズのような支配的な周期成分に引き寄せられてしまい、汎化性能が低下しやすい。
- この論文では、受動的な相関学習をやめて仮説に基づく介入で物理的妥当性を検証する、新しい自己教師あり学習パラダイム「Physiological Causal Probing(PCP)」を提案する。
- 提案手法は「Interv-rPPG」フレームワークで実装され、rPPG仮説を立てる「PhysMambaFormer」と、低周波のクロマンス成分に対して精密な介入を行う制御可能な生理信号エディタを組み合わせる。
- 介入により「Falsifiability via Nulling」および「Axiomatic Equivariance」を用いて因果仮説を検証し、VIPL-HRやMMPDで領域内・領域外の双方で性能向上を示す。
- さらに精密な診断分析により、モーションや照明アーティファクトへの耐性が高いことを確認し、清潔なデータセットでは競争力を維持しつつ、介入による残留ノイズが小さく影響する場合があることも示している。




