TrajLoom：ビデオからの密な将来軌跡生成

要旨: 将来の動きを予測することは、動画理解および制御可能な動画生成において重要です。高密度な点の軌跡は、コンパクトで表現力の高い運動表現ですが、観測された動画からそれらの将来の進化をモデル化することは依然として困難です。私たちは、過去の軌跡と動画の文脈から、将来の軌跡と可視性を予測する枠組みを提案します。提案手法は3つの要素から成ります。(1) Grid-Anchor Offset Encoding：各点をそのピクセル中心のアンカーからのオフセットとして表現することで、位置依存のバイアスを低減します。(2) TrajLoom-VAE：マスク付き再構成と時空間的一貫性正則化器により、高密度軌跡に対するコンパクトな時空間潜在空間を学習します。(3) TrajLoom-Flow：境界の手がかりと、安定したサンプリングのための on-policy K ステップの微調整を用い、フロー・マッチングによって潜在空間上で将来の軌跡を生成します。さらに、TrajLoomBench を導入します。これは、動画生成ベンチマークに整合する標準化されたセットアップにより、実動画と合成動画の両方をまたぐ統一ベンチマークです。最先端手法と比べて、私たちの手法は予測ホライゾンを24フレームから81フレームへ拡張し、データセット全体で動きの現実味と安定性を向上させます。予測された軌跡は、下流の動画生成および編集を直接支援します。コード、モデルのチェックポイント、データセットは https://trajloom.github.io/ で利用可能です。