3Dガウススパッティングに基づくロボット操作のための高精細デジタルツイン

要旨：高忠実度でインタラクティブなデジタルツインを開発することは、クローズドループのモーション計画と、信頼性の高い現実世界でのロボット実行を可能にするために重要であり、シムツーレアル転送を推進するうえで不可欠である。 しかし、既存の手法はしばしば、再構成が遅いこと、視覚的忠実度が限られていること、そしてフォトリアルなモデルを計画に使える衝突ジオメトリへ変換することが難しいことに悩まされている。 本研究では、疎なRGB入力から数分以内に高品質なデジタルツインを構築する実用的なフレームワークを提示する。 本システムでは、統一されたシーン表現として3Dガウシアン・スプラッティング（3DGS）を用い、迅速かつフォトリアルな再構成を実現する。 さらに3DGSに対して、可視性に配慮したセマンティック融合を強化し、正確な3Dラベリングを行うとともに、フィルタベースの効率的なジオメトリ変換手法を導入して、衝突に備えたモデルを生成し、それをUnity-ROS2-MoveItの物理エンジンにシームレスに統合する。 Franka Emika Pandaロボットがピック＆プレース課題を行う実験では、この拡張された幾何学的精度が、実世界の試行における堅牢な操作を効果的に支えることを示す。 これらの結果は、セマンティックおよび幾何学的整合性を備えた3DGSベースのデジタルツインが、非構造化環境において、知覚から操作への高速・信頼性の高い・スケーラブルな道筋を提供することを示している。