3Dポーズから文章へ：バイオメカニクスに基づくビジョン—言語コーチング

要旨: 本稿では、ストリーミング動画からのフィットネスコーチングのための、バイオメカニクスに基づく視覚—言語フレームワークであるBioCoachを提案する。BioCoachは、視覚的外観と3D骨格運動学を融合し、独自の3段階パイプラインを通じて実現する。すなわち、運動種目に固有の自由度（DOF）セレクタにより、解析を重要な関節に集中させる。次に、個別化された形態計測値を、周期（cycle）および制約（constraint）解析と組み合わせる構造化されたバイオメカニカルな文脈を用いる。そして最後に、視覚—バイオメカニクス条件付きフィードバックモジュールがクロスアテンションを適用し、正確で実行可能なテキストを生成する。視覚および言語のバックボーンを凍結し、パラメータ効率の高い学習を用いることで、BioCoachは単なるパターンマッチングではなく、透明で個別化された推論をもたらす。学習と公正な評価を可能にするため、QEVD-fit-coachにバイオメカニクス指向のフィードバックを追加してQEVD-bio-fit-coachを作成し、さらにバイオメカニクスを意識したLLM判定指標を導入する。BioCoachは、時間的トリガリングを維持したまま、語彙および判定の指標の両方においてQEVD-bio-fit-coachで明確な向上を示す。加えて、元のQEVD-fit-coachでは、タイミングがほぼ同等であることを保ちつつ、テキストの品質と正確性が改善される。これは、運動学と制約を明示的に扱うことが、位相を意識した正確なコーチングにとって重要であることを示している。