ICTPolarReal: 実世界の物体に対する偏光反射とマテリアルのデータセット

Abstract

現実世界の素材がどのように光を反射するかを正確にモデル化することは、逆レンダリングにおける中核的な課題であり続けています。その主因は、実測された反射率データが乏しいことです。既存の手法は、簡略化された照明や限られた素材の現実感を特徴とする合成データセットに大きく依存しており、モデルが現実世界の画像へと汎化することを妨げています。我々は、8台のカメラと、クロス／パラレル偏光を備えた346光のLight Stageによって撮影された、実世界の物体からなる大規模な偏光反射および素材データセットを導入します。我々のデータセットは、5つの取得次元―マルチビュー、マルチイルミネーション、偏光、反射率分離、素材属性―にまたがる218の日常的な物体を含み、拡散・鏡面の分離と、解析的に導出された拡散アルベド、鏡面アルベド、表面法線を備えた、1.2M超の高解像度画像を提供します。このデータセットを用いて、我々は固有分解、リライティング、スパースビュー3D再構成に関する先端の逆レンダリングおよび順レンダリングモデルを訓練・評価し、素材分離、照明の忠実度、幾何学的整合性において大幅な改善を示します。本研究が、物理に基づく素材理解の新たな基盤を確立し、合成データによる訓練体制を超えて現実世界へと汎化できることを期待しています。プロジェクトページ: https://jingyangcarl.github.io/ICTPolarReal/