HO-Flow：潜在フローマッチングによる汎化可能な手—物体インタラクション生成

要旨: 現実的な3Dハンド・オブジェクト相互作用（HOI）を生成することは、計算機視覚とロボティクスにおける基本的な課題であり、時間的な整合性と高い忠実度での物理的妥当性の両方が求められます。既存の手法は、生成のための表現力のある運動表現を学習する能力、ならびに時間的推論を行う能力において依然として限界があります。本論文では、テキストと正準的な3Dオブジェクトから現実的なハンド・オブジェクト運動系列を合成するための枠組みであるHO-Flowを提案します。HO-Flowはまず、相互作用を意識した変分オートエンコーダを用いて、ハンドとオブジェクトの運動学（kinematics）を取り込むことで、ハンドとオブジェクトの運動系列を統一された潜在空間（latent manifold）へ符号化します。これにより、豊かな相互作用ダイナミクスを捉える表現を可能にします。次に、自動回帰的な時間的推論と、連続的な潜在生成を組み合わせるマスク付きフローマッチングモデルを活用し、時間的整合性を向上させます。さらに汎化性能を高めるために、HO-Flowは初期フレームに対する相対的なオブジェクト運動を予測し、 大規模な合成データに対する効果的な事前学習を可能にします。GRAB、OakInk、DexYCBのベンチマークにおける実験により、HO-Flowが、相互作用運動合成において、物理的妥当性と運動多様性の両方で最先端の性能を達成することを示します。