Int3DNet: 混合現実における3D意図予測のためのシーン-モーション・クロスアテンションネットワーク

要旨：Int3DNetを提案します。シーンジオメトリと頭部・手のモーション手掛かりから直接3D意図領域を予測する、シーン文脈を考慮したネットワークであり、明示的なオブジェクトレベルの知覚なしに堅牢な人間の意図予測を可能にします。混合現実（MR）において、意図予測は重要であり、システムがユーザーの行動を予測して積極的に応答できるようにし、相互作用の遅延を低減し、シームレスなユーザー体験を保証します。私たちの手法は、疎なモーションキューとシーン点群のクロスアテンション融合を用い、シーン内でユーザーの空間的意図を直接解釈する新しいアプローチを提供します。Int3DNetをMoGazeおよびCIRCLEデータセットで評価しました。これらは全身の人間-シーン相互作用の公開データセットであり、最大1500 msの時間レンジで一貫した性能を示し、ベースラインを上回りました。さらに、意図領域に基づく効率的な視覚的質問応答（VQA）のデモンストレーションを通じて、提案手法の有用性を示します。Int3DNetは頭部・手のモーションとシーンジオメトリに由来する信頼性の高い3D意図領域を提供し、意図領域を前向きに処理することで人間とMRシステムのシームレスな相互作用を実現します。