スポーツコーチングにおける関連タスク間の時間的グラウンディングの一貫性を学習する

Abstract

Video-LLMs は、しばしば関連性の薄いフレームに注意を向けることがあり、これは正確な時間的定位を要するスポーツコーチングタスクにとって特に有害です。 しかし、フレームレベルの監督付き（アノテーション）を取得することは困難であり、人間から収集するには高コストで、他のモデルから得られるものは信頼できません。 私たちは、生成や検証といった関連タスクが同じフレームに注意を向けなければならないという観察を利用することで、追加の注釈なしに時間的定位を改善します。 これを、密接に関連するタスクの選択的視覚アテンションマップに対する自己整合性の目的関数として課します。 グラウンドトゥルースのキーフレーム注釈を提供する VidDiffBench を用いて、まずアテンションの誤配置が顕著なボトルネックであることを検証します。 その後、私たちの目的関数を用いた訓練が、Exact、FitnessQA、ExpertAF の3つのスポーツコーチングタスクにおいて、監視付きファインチューニングを上回る精度向上 +3.0%、 +14.1% の精度向上、そして +0.9 の BERTScore の向上をもたらし、クローズドソースモデルを上回ることさえあります。