マルチビュー・事前情報による制御可能な動画オブジェクト挿入

概要: ビデオオブジェクト挿入は、既存の環境に新しいオブジェクトを動的に挿入するための重要なタスクである。従来のビデオ生成手法は、主としてシーン全体の合成に注力してきたが、既存のビデオにオブジェクトを挿入する際に、オブジェクトの外観の一貫性、空間的整合、そして時間的一貫性を確実に保つことには苦戦している。本論文では、動的環境における外観の不一致やオクルージョン（遮蔽）の取り扱いといった共通課題に対処するために、多視点のオブジェクト事前知識を統合する、ビデオオブジェクト挿入のための新規な解決策を提案する。2Dの参照画像を多視点表現へと持ち上げ、デュアルパスの視点整合コンディショニング機構を活用することで、我々の枠組みは、多様な視点にわたって安定したアイデンティティのガイダンスと頑健な統合を実現する。さらに、ノイズや不完全な入力を適応的に扱うための、品質に応じた重み付け機構も採用する。加えて、統合を意識した一貫性モジュール（Integration-Aware Consistency Module）を導入し、空間的な写実性を保証することで、オクルージョンや境界アーティファクトを効果的に解決しつつ、フレーム間で時間的な連続性を維持する。実験結果は、提案手法がビデオオブジェクト挿入の品質を大幅に向上させ、安定かつ現実的な統合を提供することを示している。