概要: スケルトンベースの歩行認識器は空間的な配置のモデリングに優れていますが、外観の変化下で重要となる明示的な運動ダイナミクスをしばしば十分に活用できていません。本稿では、任意のスケルトンバックボーンに関節速度の時–周波数ダイナミクスを追加する、プラグアンドプレイのWavelet Feature Streamを提案します。具体的には、関節ごとの速度系列を連続ウェーブレット変換（CWT）によって多スケールのスカラーグラムに変換し、そこから軽量な多スケールCNNが識別的な動的手がかりを学習します。得られた記述子は、分類のためにバックボーン表現と融合され、バックボーンのアーキテクチャの変更や追加の教師信号を必要としません。CASIA-Bにおいて、提案ストリームは強力なスケルトンバックボーン（例: GaitMixer、GaitFormer、GaitGraph）上で一貫した向上をもたらし、GaitMixerに接続した際には新たなスケルトンベースの最先端性能を確立します。改善は、とくにバッグを携帯する（BG）やコートを着用する（CL）といった共変量シフト下で顕著であり、明示的な時–周波数モデリングと標準的な時空間エンコーダとの補完性を示しています。
骨格に基づく歩行認識のための明示的な時刻-周波数ダイナミクス
arXiv cs.CV / 2026/4/6
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、既存の骨格ベース歩行認識モデルに対して、関節速度の明示的な時刻-周波数ダイナミクスを付加する、プラグアンドプレイ可能なWavelet Feature Streamを提案する。
- 各関節の速度系列を連続ウェーブレット変換（CWT）によって多尺度スカログラムへ変換し、その後、軽量な多尺度CNNで識別的な動的手がかりを学習する。
- 学習した動的記述子は、元の骨格バックボーン表現と融合して分類に用いられ、バックボーンのアーキテクチャ変更や追加の教師信号は不要である。
- CASIA-Bでの実験では、強力な骨格バックボーン（GaitMixer、GaitFormer、GaitGraph）すべてに対して一貫した性能向上が示され、GaitMixerと組み合わせた場合に骨格ベースの新たな最先端（SOTA）が達成される。
- 本手法は、バッグを持つ（BG）やコートを着る（CL）といった共変量シフト下で特に大きな改善をもたらし、明示的な時刻-周波数モデリングが時空間エンコーダを補完することを示唆する。
