REACT3D：インタラクティブな物理3Dシーンのための関節構造の復元

要旨: インタラクティブな3Dシーンは、身体性のある知能（embodied intelligence）にとってますます重要になっている一方で、部品のセグメンテーション、運動学的タイプ、モーション軌跡を注釈付けする工程が手作業で労力を要するため、既存のデータセットには限界があります。私たちは、静的な3Dシーンを、幾何形状を一貫させたシミュレーション対応のインタラクティブなレプリカへ変換する、スケーラブルなゼロショットフレームワークREACT3Dを提案します。これにより、多様な下流タスクでそのまま直接利用できるようになります。主な貢献は次のとおりです: (i) 静的シーンから移動可能な部品の候補を抽出するための、開閉可能な対象の検出およびセグメンテーション、(ii) 関節タイプと運動パラメータを推定する関節化（articulation）推定、(iii) 隠れた幾何（hidden-geometry）の補完に続いて、インタラクティブな対象の組み立てを行うこと、(iv) 標準的なシミュレーションプラットフォームとの互換性を確保するための、広くサポートされた形式でのインタラクティブシーン統合。私たちは、多様な屋内シーンにおける検出/セグメンテーションおよび関節化の評価指標で最先端の性能を達成し、本フレームワークの有効性を示すとともに、スケーラブルなインタラクティブシーン生成のための実践的な基盤を提供します。これにより、関節化されたシーン理解に関する大規模研究への参入障壁が下がります。プロジェクトページは https://react3d.github.io/ です。