TwinOR：身体性AI研究のための動的手術室のフォトリアルなデジタルツイン

要旨: 整形外科領域などの知的手術システムのための身体性AI（Embodied AI）を開発するには、継続学習と評価のための、安全で制御可能な環境が必要です。しかし、手術室（OR）における安全規制や運用上の制約により、エージェントは現実的な環境で自由に知覚し相互作用することができません。デジタルツインは、高精細でリスクのない探索およびトレーニングのための環境を提供します。手術室の動的なデジタル表現を、関連する空間的・視覚的・行動的な複雑性を捉える形でどのように作り出すかは、未解決の課題です。我々は、手術室のフォトリアルで動的なデジタルツインを構築するための、リアルツーシム基盤である TwinOR を提案します。本システムは静的なジオメトリを再構成し、さらに人と機器の動きを連続的にモデル化します。静的要素と動的要素は融合され、制御可能なシミュレーションを可能にし、将来の身体性に基づく探索を促進する没入型3D環境が構築されます。提案する枠組みは、手術ワークフロー全体にわたる動的な相互作用を維持しつつ、センチメートル級の精度で手術室の完全なジオメトリを再構成します。実験において TwinOR は、立体（ステレオ）および単眼のRGBストリーム、ならびに深度観測を合成し、ジオメトリ理解および視覚的ローカライゼーションのタスクを可能にします。TwinOR 合成データで評価された FoundationStereo や ORB-SLAM3 のようなモデルは、実世界の屋内データセットにおいて、報告されている精度範囲内の性能を達成し、TwinOR が実環境における知覚・ローカライゼーション課題を模倣するのに十分なセンサーレベルの現実性を提供することを示しています。知覚に基づくリアルツーシムのパイプラインを確立することで、TwinOR は手術室の動的でフォトリアルなデジタルツインを自動構築できるようにします。安全でスケーラブルな実験環境として、TwinOR はシミュレーションから実世界の臨床環境への身体性インテリジェンスの翻訳に向けた新たな機会を切り開きます。