DreamStereo：HDビデオに対するリアルタイム・ステレオ修復への取り組み

要旨: 歪められたビデオのオクルージョン領域を、時間的な一貫性を維持しながら視覚的に整合した内容で埋めることを目的とするステレオビデオ・インペインティングは、依然として難しい未解決問題である。埋めるべき領域は物体境界に沿って散在しており、各フレームに占める割合はわずかであるため、2つの主要な課題が生じる。第一に、既存の手法は高品質なステレオ・インペインティングデータセットの不足により、このような課題で性能が低下し、効果的なインペインティングの事前知識を学習する能力が制限される。第二に、これらの手法はフレーム内のすべての領域に等しく処理を適用するが、多くのピクセルは修正を必要としないため、大幅な冗長計算が発生する。これらの問題に対処するため、我々は相互に連関した3つの構成要素を提案する。まず、後方ワーピングと、座標写像関数の勾配を活用するGradient-Aware Parallax Warping（GAPW）を提案し、連続的なエッジと滑らかなオクルージョン領域を得る。次に、Stereoビデオを必要とせずに、GAPWを組み込むことで幾何学的に整合したステレオ・インペインティング対と正確なオクルージョン・マスクを生成するParallax-Based Dual Projection（PBDP）戦略を導入する。最後に、Sparsity-Aware Stereo Inpainting（SASI）を提示し、70%以上の冗長トークンを削減することで、拡散推論時に10.7倍の高速化を達成し、全計算の対応手法と同等の結果を実現する。これにより、単一のA100 GPUでHD（768×1280）ビデオを25 FPSでリアルタイム処理できる。