生成的な深度推定による単一の線画からの3Dワイヤーフレーム復元

Abstract

2Dの手描きスケッチを3Dモデルへ変換することは、コンピュータビジョンにおける重要な課題として残っており、人間の創造性とデジタル製作の間にあるギャップをつなぐ役割を担っています。従来の線画の再構成は脆い記号論理に依存している一方で、近年の手法は硬直したパラメトリックモデリングによって制約され、利用者は事前に定義されたCADプリミティブに限定されがちです。私たちは、再構成を条件付きの密な深度推定問題として捉えることで、生成的アプローチを提案します。これを実現するために、正射影に内在する曖昧さを解消するため、ControlNetスタイルの条件付けフレームワークを備えた潜在拡散モデル（LDM）を実装します。反復的な「スケッチ→再構成→スケッチ」というワークフローを支えるために、部分的な深度手がかりをシミュレートするグラフベースのBFS（幅優先探索）マスキング戦略を導入します。私たちは、ABC Datasetから導出した100万件超の画像-深度ペアからなる大規模データセットを用いて、手法を訓練・評価します。その結果、さまざまな形状の複雑さにわたって堅牢な性能を示すことがわかり、疎な2D線画を密な3D表現へ変換するためのスケーラブルなパイプラインを提供します。これにより、従来のCADの硬直した制約なしに、利用者が実質的に「3Dに描く」ことを可能にします。