[R] VOID: 動画オブジェクトと相互作用の削除（物理的整合性のある動画インペインティング）

私たちは、見た目だけでなく*物理的な相互作用*を扱うことを目指した、動画オブジェクト除去のためのモデル「VOID」を提案します。

既存の多くの動画インペインティング／オブジェクト除去手法は、オブジェクトの背後を埋めること（たとえば、影や反射を取り除くこと）はできますが、除去されたオブジェクトがシーンのダイナミクスに影響している場合には失敗しがちです。

例えば：

- ドミノの連鎖が倒れている → 中央のブロックを取り除いても連鎖を止めるべき
- 2台の車がまさに衝突しようとしている → 1台の車を取り除けば衝突は起きないようにすべき

現在のモデルは通常、オブジェクト自体を取り除くだけで、その効果は変えないため、物理的に不自然な出力になります。

VOIDは、反実仮想（カウンターファクト）的なシーンの進展をモデル化することでこれに対処します：
「もしそのオブジェクトが最初から存在していなかったら、この動画はどのように見えるだろうか？」

主要なアイデア：

- 反実仮想の学習データ：オブジェクトがある／ないペアの動画（KubricとHUMOTOで生成）
- VLM（視覚言語モデル）に導かれるマスク：視覚言語モデルが、除去によって影響を受けるシーン内の領域を特定
- 2パス生成：まず新しい動きを予測し、その後、時間的な一貫性のためにフローでワープしたノイズで改良

実世界の動画を用いた人間の嗜好（プレファレンス）調査では、VOIDはRunway（Aleph）、Generative Omnimatte、ProPainterといったベースラインよりも64.8%の確率で選ばれました。

プロジェクトページ：https://void-model.github.io/
コード：https://github.com/Netflix/void-model
デモ：https://huggingface.co/spaces/sam-motamed/VOID
論文：https://arxiv.org/abs/2604.02296

質問があれば喜んでお答えします！

コンプレッサーを取り外して、アヒルを保存する。