SBF：ビデオベースの人間の行動認識のための骨格を拡張する効果的な表現

Abstract

多くの現代的な、ビデオに基づく人間行動認識（HAR）のアプローチでは、予測パイプラインにおける中間表現として2Dスケルトンを用いています。全体としては有望な結果が得られているものの、これらのアプローチは多くの一般的な場面において依然として苦戦しています。主な理由は、スケルトンが、関節の深さに関する行動に関連する重要な情報、人の身体の輪郭、そして人と対象物の相互作用を捉えられていないためです。これに対処するため、HARのパイプラインにおいて、行動に関連する情報を捉える表現をスケルトンに補強する効果的な手法を提案します。提案する表現はScale-Body-Flow（SBF）と呼ばれ、3つの明確な構成要素から成ります。すなわち、各関節のスケール（したがって深さ情報）によって与えられるスケールマップのボリューム、人の被験者を輪郭づけるボディマップ、そしてピクセル単位の光学フロー値によって示される人と対象物の相互作用を表すフローマップです。SBFを予測するために、さらに、既存のスケルトン抽出以外に追加のアノテーション負荷をかけることなく、スケルトンと光学フローによって教師あり学習される新しいセグメンテーションネットワークであるSFSNetを提案します。異なる複数のデータセットにわたる大規模な実験により、SBFとSFSNetに基づく本パイプラインが、最先端のスケルトンのみのアプローチと比較して、同程度のコンパクトさと効率を保ちながら、HARの精度を大幅に向上させることを示します。