CoInteract：空間的に構造化された共同生成による、物理的に整合する人と物体の相互作用動画合成

Abstract

人と物体の相互作用（HOI）ビデオの合成は、eコマース、デジタル広告、仮想マーケティングにおいて幅広い実用的価値を持ちます。しかし、現在の拡散モデルは、フォトリアルなレンダリング能力があるにもかかわらず、依然として（i）手や顔のような感受性の高い領域における構造の安定性、ならびに（ii）物理的にもっともらしい接触（例：手--物体の相互貫入の回避）において頻繁に失敗します。我々は、人参照画像、製品参照画像、テキストプロンプト、音声オーディオに条件付けされたHOIビデオ合成のためのエンドツーエンドフレームワークであるCoInteractを提案します。CoInteractは、Diffusion Transformer（DiT）バックボーンに埋め込まれた2つの補完的な設計を導入します。まず、空間的に教師ありのルーティングによりトークンを軽量で領域特化されたエキスパートへ振り分けるHuman-Aware Mixture-of-Experts（MoE）を提案し、最小限のパラメータ増加で微細な構造の忠実性を向上させます。次に、RGB外観ストリームと補助的なHOI構造ストリームの2つのストリームを共同でモデル化して、相互作用ジオメトリの事前知識を注入するデュアルストリーム学習パラダイムであるSpatially-Structured Co-Generationを提案します。学習中、HOIストリームはRGBトークンに注意を向け、その教師が共有バックボーン重みを正則化します。推論時には、ゼロオーバーヘッドでRGB生成を行うためにHOIブランチを削除します。実験結果は、CoInteractが構造の安定性、論理的一貫性、相互作用の現実味において、既存手法を大きく上回ることを示しています。