パラメータ効率の高いマルチビュー熟達度推定：識別的分類から生成的フィードバックへ

要旨: どの行動が実行されたかではなく、人がある行動をどれほど上手に実行できているかを推定することは、コーチング、リハビリテーション、タレント発掘の中心です。この課題は、人となりの熟練度が、タイミング、バランス、身体の機構、実行の微妙な違いとして符号化されており、しかもそれが複数の視点や短い時間的イベントに分散していることが多いため、難しいものです。私たちは、Ego-Exo4Dにおけるマルチビュー熟練度推定への3つの最近の貢献について議論します。SkillFormerは、選択的なマルチビュー統合のためのパラメータ効率のよい判別的アーキテクチャを導入します。PATSは、基本動作の局所的に密な抜粋を保持することで、時間的サンプリングを改善します。そしてProfVLMは、熟練度推定を条件付き言語生成として再定式化し、ゲート付きのクロスビュー・プロジェクタとコンパクトな言語バックボーンを通じて、熟練度ラベルと専門家スタイルのフィードバックの両方を生成します。これらの手法は、動画トランスフォーマーのベースラインに比べて最大20倍少ない学習可能パラメータ数と最大3倍少ない学習エポック数で、Ego-Exo4Dにおいて最先端の精度を達成しつつ、クローズドセット分類から解釈可能なフィードバック生成へと前進しています。これらの結果は、選択的統合、熟練度を考慮したサンプリング、実行可能な生成フィードバックを組み合わせる効率的なマルチビュー・システムへと研究の重点が移っていることを示しています。