翻訳のために聴く：LLMへの音声モダリティ統合の有効性

要旨: 大規模言語モデル（LLM）がテキストの枠を超えて拡張するにつれ、発話をネイティブなモダリティとして統合することでSpeechLLMが生まれました。SpeechLLMは話し言葉を直接処理し、音声対テキスト変換（ST）やその他の下流タスクを可能にし、従来の文字起こし（転写）ベースのパイプラインを迂回します。しかし、この統合が、確立されたカスケード型アーキテクチャよりもSTの品質を改善するかどうかは、未解決の問いのままです。私たちは、Hearing to Translateを提案します。これは、6つの最先端のSpeechLLMを、主要な音声基盤モデル（SFM）と多言語LLMを組み合わせる16の強力な直接方式およびカスケード方式のシステムに対して、厳密にベンチマークする最初の包括的なテストスイートです。私たちの分析は、16のベンチマーク、13の言語ペア、そして、不明瞭である、雑音がある、長形式の音声であるといった9つの難しい条件にまたがります。この広範な評価の結果から、カスケード型システムは総じて最も信頼できる解決策である一方で、最新のほとんどのSpeechLLMは、さまざまな状況でカスケードに匹敵し、場合によってはそれを上回ることが分かりました。対照的に、SFMは両者に遅れをとっており、モデル内であれパイプライン内であれ、LLMを統合することが、高品質な音声翻訳に不可欠であることが示唆されます。