MMAudio-LABEL：無音動画から音声生成で行うオーディオイベントラベリング

Abstract

マルチモーダル生成の最近の進歩により、無音動画から高品質な音声を生成できるようになってきました。音の制作などの実用的な応用では、生成された音声だけでなく、音の種類とタイミングを詳述する明示的なサウンドイベントラベルも要求されます。ひとつの単純なアプローチは、生成された音声に対して標準的なサウンドイベント検出を適用することです。しかし、この事後処理パイプラインは本質的に限界があり、誤りが累積しやすいという問題があります。この制約に対処するために、本稿ではMMAudio-LABEL（LAtent-Based Event Labeling）を提案します。これは、基盤となる音声生成モデルをバックボーンとして構築された、イベントを意識した音声生成フレームワークです。無音動画から、音声とフレームに整合したサウンドイベント予測を同時に生成します。我々は、本手法を「Greatest Hits」データセットで、オンセット検出と17クラスのマテリアル（素材）分類について評価しました。本手法は、ベースラインに対してオンセット検出の精度を46.7%から75.0%へ、マテリアル分類の精度を40.6%から61.0%へと向上させます。これらの結果は、音声生成とイベント予測を共同で学習することで、より解釈可能で実用的な動画から音声への合成が可能になることを示唆しています。