回転照明とピクセル単位の学習によるイベントベースのフォトメトリックステレオ

要約: フォトメトリックステレオは、異なる照明下で撮影された画像を用いて表面法線を推定する手法です。しかし、従来のフレームベースのフォトメトリックステレオ法は、制御された照明への依存と環境光への感受性のため、実世界での応用には限界があります。これらの限界に対処するため、イベントカメラを活用したイベントベースのフォトメトリックステレオシステムを提案します。イベントカメラは、連続的に変化するシーン輝度と高ダイナミックレンジ条件下で有効です。我々の設置は、事前に定義された円軌道に沿って動く単一の光源を採用し、複数の同期光源の必要性を排除するとともに、よりコンパクトでスケーラブルな設計を実現します。さらに、光源が回転する際の強度変化により生成されるイベント信号から表面法線を直接予測する、ピクセルごとに軽量な多層ニューラルネットワークを導入します。システムのキャリブレーションなしで動作します。私たちのデータ取得システムで収集したベンチマークデータセットと実世界データを用いた実験結果は、提案手法の有効性を示し、既存のイベントベースのフォトメトリックステレオ法と比較して平均角度誤差を7.12%低減します。さらに、イベント活動がまばらな領域、強い環境光、鏡面反射の影響を受けるシーンにおける頑健性も示します。