SeeClear: 生成的不透明化による信頼性の高い透明オブジェクト深度推定

要約: 単眼深度推定は透明な物体に対して依然として難しく、屈折と透過を適切にモデル化することが難しく、深度推定ネットワークが用いる外観の前提を壊してしまいます。その結果、最先端の推定器は透明材料に対してしばしば不安定または誤った深度予測を出します。私たちは SeeClear という新規フレームワークを提案します。透明な物体を生成的な不透明画像へ変換し、透明物体の安定した単眼深度推定を可能にします。入力画像を与えられた場合、まず透明領域を局在化し、その屈折的な外観を幾何学的に一貫した不透明な形状へ変換する拡散モデルベースの生成的不透明化モジュールを使用します。処理された画像は再訓練やアーキテクチャの変更を行うことなく、既製の単眼深度推定器に入力されます。不透明化モデルを訓練するために SeeClear-396k を構築します。これは透明-不透明の対を含む 396k の合成データセットです。合成データと実世界データの両方のデータセットでの実験は、SeeClear が透明物体の深度推定を大幅に改善することを示しています。プロジェクトページ: https://heyumeng.com/SeeClear-web/