MMAudioReverbs：動画誘導による音響モデリングで残響除去と部屋のインパルス応答推定を行う

Abstract

近年の映像から音声への変換（V2A）モデルは、視覚入力から意味的にもっともらしい音を合成する点で優れた性能を示してきましたが、残響やルームインパルス応答（RIR）といった室内音響効果を明示的にはモデル化していないため、これらの効果に対する制御性が限られています。とはいえ、本研究では、こうしたV2Aモデルが、空間音響とそれに対応する視覚的手がかりとの関係についての意味論的知識を暗黙的に持っているのではないか、と仮説を立てます。本論文では、上記の目的のためにV2Aモデルを再検討し、事前学習済みモデルを物理的に根拠づけられた室内音響処理の事前分布（prior）として利用する方法を提案します。最先端のV2Aモデルの1つであるMMAudioに基づき、ネットワーク構造の改変なしに、(i) 残響除去 と (ii) ルームインパルス応答（RIR）推定 を扱う統一的な枠組みであるMMAudioReverbsを提案し、少量データセットで微調整します。実験結果により、物理的な室内音響の種類に応じて、音声および視覚の手がかりがそれぞれ有利になることが示されました。これは、基盤となるV2Aモデルを、物理的に根拠づけられた室内音響の解析に用い得ることを示唆しています。