SurfaceXR: スマートウォッチの IMU と自己視点の手の姿勢を統合して、シームレスな表面インタラクションを実現

要旨：拡張現実（XR）における空中ジェスチャーは、しばしば疲労感と不正確さを引き起こします。表面ベースのインタラクションは精度と快適さを向上させますが、現在のエゴセントリック視覚手法は、手の追跡の課題と信頼性の低い表面平面推定のために苦戦しています。私たちは SurfaceXR を紹介します。ヘッドセットを用いた手の追跡とスマートウォッチのIMUデータを組み合わせたセンサーフュージョン手法で、日常の表面上で頑健な入力を可能にします。私たちの洞察は、これらのモダリティが相補的であるという点です。手の追跡は3D位置データを提供し、IMUは高頻度の動きを捉えます。21名の参加者を対象とした研究は、SurfaceXR のタッチ追跡と8クラスのジェスチャ認識の有効性を検証し、単一モダリティのアプローチに比べて顕著な改善を示しました。