モノローグを超えて：会話の音声コンテキストに応じたカーネルによるインタラクティブな話者・聴者アバター生成

要旨: 音声駆動の人間のビデオ生成は、モノローグ（独白）シナリオにおいて目覚ましい成功を収めてきました。これは主に、高性能なビデオ生成基盤モデルの進歩によって支えられています。モノローグを超えて本物の人間同士のコミュニケーションを扱う場合、それは本質的にフルデュプレックス（双方向同時）のインタラクティブなプロセスであり、バーチャルエージェントには、自身の発話を行うだけでなく、入ってくる会話の音声に自然に反応することが求められます。既存のほとんどの手法は、従来の音声駆動パラダイムを「聴く」状況へ単に拡張したものに留まっています。しかし、厳密なフレーム間の対応（フレームごとのアラインメント）に依存すると、長期的な会話ダイナミクスに対するモデルの応答が硬直化します。一方で、直接グローバル注意（グローバルアテンション）を導入すると、口の同期（リップシンク）が壊滅的に劣化します。話す行動と聴く行動の間に固有の時間的な「スケールの不一致（Temporal Scale Discrepancy）」があることを踏まえ、マルチヘッド・ガウスカーネルを導入し、この物理的な直観をモデルへ段階的な時間的帰納バイアスとして明示的に注入します。これに基づいて、話すことと聴くことのためのデュアルストリームの音声入力を同時に処理できるフルデュプレックスなインタラクティブ・バーチャルエージェントを構築します。さらに、完璧にデカップル（分離）された音声トラックと背景音声トラックを備える、厳密にクリーニングされた Talking-Listening データセット VoxHear を導入します。大規模な実験の結果、提案手法は強力な時間的アラインメントと深い文脈意味をうまく融合でき、高度に自然で応答性の高いフルデュプレックス・インタラクティブなデジタルヒューマンを生成する新たな最先端を確立することを示します。プロジェクトページは https://warmcongee.github.io/beyond-monologue/ で利用可能です。