Spectral Scalpel：周波数選択的フィルタリングにより隣接行動の差異を増幅することで骨格ベースの行動セグメンテーションを行う

Abstract

骨格ベースの時間的アクションセグメンテーション（STAS）は、長くトリミングされていない骨格モーション列の中で、さまざまな動作を密にセグメント化し分類することを目指す。しかし、既存のSTAS手法は、隣接する動作間における時空間パターンの区別が不十分であることが主因となり、クラス間の判別可能性が限られていることや、セグメンテーション境界がぼやけることに課題を抱えている。これらの制約に対処するために、本研究ではSpectral Scalpel（スペクトル・スカルペル）を提案する。これは、周波数選択的フィルタリングの枠組みであり、隣接する異なる動作に共通する周波数成分を抑制し、動作固有の周波数を増幅することにより、動作間の差異を強調し、遷移境界を鋭くすることを目的とする。具体的には、Spectral Scalpelは周波数スペクトルを「切り刻む」ためのスカルペルとして、適応的なマルチスケールのスペクトルフィルタを用い、手術の目的に相当するものとして、隣接する動作間の不一致（discrepancy）損失を組み合わせる。この設計は、近接する動作間の表現上の相違を増幅し、境界の局在化に関する曖昧さやクラス間の混同を効果的に軽減する。さらに、長期的な時間モデリングを補完するために、チャネル間でのスペクトル集約によりチャネルの変化を強化する、周波数に配慮したチャネルミキサーを導入する。本研究は、周波数領域の分析を取り入れることで、従来の時空間モデリングを拡張するSTASの新しいパラダイムを提示する。5つの公開データセットでの大規模な実験により、Spectral Scalpelが最先端の性能を達成することを示す。コードは https://github.com/HaoyuJi/SpecScalpel で公開されている。