TrajectoryMover：ビデオにおける物体軌跡の生成的移動

arXiv cs.CV / 2026/4/1

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、物体の3Dモーション軌跡を移動しつつ、その相対的な3Dモーションとアイデンティティを保持する生成的なビデオ編集を行うための TrajectoryMover を提案する。
従来手法では、この能力を扱いきれていないと主張する。その理由は、軌跡を変更しても現実味とアイデンティティが崩れないようにするための、対応関係のある（ペアの）ビデオデータが欠けているからである。
この対応（ペアリング）の問題に対処するため、著者らは適切なペア学習例を作成する新しい大規模合成データ生成パイプラインとして TrajectoryAtlas を提案する。
その後、TrajectoryMover はこの合成ペアデータセットで微調整され、軌跡の移動がビデオ上で実現できることを著者らは報告する。
本研究は、軌跡ベースのビデオ編集ワークフローにおいて、現実味と制御可能性の双方を満たすための不足していた要素として、物体軌跡の生成的移動を位置づける。

概要: 生成的なビデオ編集は、特に非専門の編集者にとって従来は達成が難しかった短いビデオクリップに対して、いくつかの直感的な編集操作を可能にしてきました。既存の手法は、ビデオ内の物体の3Dまたは2Dのモーション軌跡を指示すること、あるいは物体やシーンの見えを変更することに焦点を当てつつ、ビデオのもっともらしさとアイデンティティの両方を維持します。しかし、物体の3Dモーション軌跡をビデオ内で移動させる、つまり相対的な3Dモーションを保持したまま物体を動かす方法は、現在のところまだ欠けています。このシナリオに対応するための主な課題は、対応する（ペアの）ビデオデータを取得することです。従来の手法は一般に、非ペアのビデオからもっともらしい対応データを構築するための巧妙なデータ生成アプローチに依存しますが、このアプローチは、ペアのうちのどちらか一方を他方から容易に構築できない場合には機能しません。そこで本研究では、大規模な合成ペアビデオデータのための新しいデータ生成パイプラインであるTrajectoryAtlasと、このデータで微調整したビデオジェネレータTrajectoryMoverを導入します。これにより、物体の軌跡の生成的な移動がうまく可能になることを示します。プロジェクトページ: https://chhatrekiran.github.io/trajectorymover