Instrument-Splatting++：ガウススプラッティングによる制御可能な手術用インスツルメント・デジタルツインへのアプローチ

要旨: 手術器具の高品質で制御可能なデジタルツインは、ロボット支援手術におけるReal2Simにとって重要です。なぜなら、これにより新たな姿勢に対する現実的なシミュレーション、合成データ生成、知覚学習が可能になるからです。本稿では、外科用器具を高い忠実度で完全に制御可能なガウシアン・アセットとして再構成する、単眼3Dガウシアン・スラッティング（3DGS）フレームワークであるInstrument-Splatting++を提案します。提案パイプラインは、CAD事前知識をガウシアン・プリミティブへ注入し、パーツに応じたセマンティック・レンダリングを表現に備えさせる、パーツ単位の幾何学事前学習から始まります。事前学習済みモデルに基づき、姿勢の推定と追跡をセマンティクスに応じて行う（SAPET）手法を提案し、非姿勢整列（アンポーズド）な内視鏡動画からフレームごとの6自由度（6-DoF）の姿勢と関節角を復元します。ここで、把持先端（グリッパーチップ）のネットワークは合成セマンティクスのみで学習されるため頑健な教師信号を提供し、さらに緩い正則化により特異な関節運動（シンギュラな関節）を抑制します。最後に、姿勢の洗練と頑健な外観（アピアランス）の最適化を交互に行うRobust Texture Learning（RTL）を導入し、テクスチャ学習中の姿勢ノイズを軽減します。提案フレームワークは、非姿勢整列な動画から姿勢推定と現実的なテクスチャの学習を行うことができます。本手法をEndoVis17/18、SAR-RARP、ならびに自社データセットから抽出したシーケンスで検証し、最先端のベースラインと比較して、フォトメトリック品質が優れており幾何学的精度も向上することを示します。さらに、下流のキーポイント検出タスクにおいて、制御可能な器具ガウシアンから得られる未見姿勢データ拡張により性能が改善されることを示します。