VDPP: 速度とスケーラビリティのためのビデオ深度ポストプロセシング

概要: ビデオ深度推定は、自動運転からメタバース（複合現実）まで幅広いアプリケーションにおいて3Dシーン構造を提供するために不可欠です。現在のエンドツーエンドのビデオ深度モデルは、最先端の性能を確立しています。エンドツーエンド（E2E）モデルはいずれも最先端の性能を達成しているものの、これらは密結合なシステムとして動作するため、より優れた単一画像の深度推定器がリリースされた際に適応の遅れが大きく生じます。この問題を軽減するために、NVDSのようなポストプロセッシング手法は、再学習を行わずに、進化する任意の画像深度モデルを取り込むためのモジュール型のプラグアンドプレイ代替手段を提供します。しかし、既存のポストプロセッシング手法は、速度・精度・RGBへの依存の制約により、E2Eシステムの効率性や実用性に匹敵することが依然として難しいのが現状です。本研究では、ポストプロセッシングの役割を再活性化し、VDPP（Video Depth Post-Processing）という枠組みを提案します。これは、ビデオ深度推定におけるポストプロセッシング手法の速度と精度を向上させるものです。計算負荷の高いシーン再構成から、対象を絞った幾何学的なリファインメントへとパラダイムを転換することで、VDPPは低解像度空間における幾何学的なリファインメントのみで動作します。この設計により、NVIDIA Jetson Orin Nano上で>43.5 FPSという卓越した高速性を達成しつつ、E2Eシステムと同等の時間的一貫性を維持します。密な残差学習により、フルな再構成ではなく幾何表現を駆動します。さらに、VDPPはRGB不要のアーキテクチャを採用しているため、真にスケーラブルであり、進化する任意の画像深度モデルを即座に統合できます。実験結果は、VDPPが速度・精度・メモリ効率の最良のバランスを提供し、リアルタイムのエッジ展開にとって最も実用的な解となることを示しています。プロジェクトページは https://github.com/injun-baek/VDPP です