DEAF: 音声言語モデルにおける音響忠実性の診断的評価のベンチマーク

要旨: 最近の音声・マルチモーダル大規模言語モデル（Audio MLLMs）は、音声ベンチマークで卓越した性能を示していますが、これらのモデルが本当に音響信号を処理しているのか、それともテキストベースの意味推論に依存しているのかはまだ不明です。この問いを体系的に検討するため、DEAF（Diagnostic Evaluation of Acoustic Faithfulness）を導入します。これは、3つの音響的次元（感情的プロソディ、背景音、話者識別情報）にまたがる2,700件超の対立刺激から成るベンチマークです。次に、内容の意味的対立から誤解を招くプロンプトとその組み合わせに至るまで、テキストの影響を段階的に高めていく統制された多層評価フレームワークを設計し、内容主導のバイアスとプロンプト誘導の迎合性を分離できるようにします。さらに、音響信号よりもテキスト手掛かりに対するモデルの依存度を定量化する診断指標を導入します。我々の7つの Audio MLLMs の評価は、テキスト支配の一貫したパターンを示しています。すなわち、モデルは音響的変化には敏感である一方、予測は主にテキスト入力によって左右され、標準的な音声ベンチマークでの高い性能と真の音響理解との間にギャップがあることが明らかになりました。