カラー符号化ライティングによる高速ボリュメトリック・シーン復元

Abstract

2D画像から3Dの動的シーンを取得しレンダリングする課題は、近年ますます人気を集めています。しかし、ほとんどの従来型カメラは帯域幅の制約により30〜60 FPSに制限されているため、これらの手法は静的あるいはゆっくりと変化するシーンに限られます。一般的なシーンに対して帯域幅の制約を克服することは難しい一方で、近年は、特定の用途（例：モーションキャプチャや粒子画像速度測定）に対して従来のカメラを用いて高速動画を得る計算イメージング手法が多数登場しています。ただし、これらの手法の多くはカメラの光学系を改造するか、機械的に動くコンポーネントを追加する必要があり、それによって単一視点での高速撮影に限定されます。その結果、これらの方法は、急速に動くシーンの3D表現を容易に取得するために利用できません。本論文では、未改造の低速カメラのみを用いて高速シーンの体積（ボリューメトリック）表現を取得し再構成する、新しい方法を提案します。各カメラの個別のハードウェアや光学系を変更するのではなく、急速で連続的なカラーコード（色分け）シーケンスでシーンを照明することで、高速シーンのダイナミクスを符号化します。これにより、シーンの同時な複数視点キャプチャが実現され、高速な時間情報は、取得画像における空間的な輝度および色の変化として符号化されます。動的シーンの高速な体積表現を構築するために、時間情報を画像からデコードする、独自のダイナミック・ガウシアン・スパラッティング（Dynamic Gaussian Splatting）ベースの手法を開発します。シミュレーションされたシーンおよび、多カメラ撮像セットアップによる実世界の実験において評価を行い、類を見ない高速な体積シーン再構成を示します。