Interactive ASR: 人間のような対話と意味的一貫性評価に向けたエージェント型音声認識

要旨: 近年、モデルアーキテクチャの進歩や大規模な学習データによって、自動音声認識（ASR）は目覚ましい進展を遂げてきました。しかし、重要な2つの側面が十分に掘り下げられていません。第一に、何十年もの間支配的な評価指標である単語誤り率（Word Error Rate: WER）は、すべての単語を同等に扱い、文レベルにおける発話の意味的正しさを反映できないことがしばしばあります。第二に、人間のコミュニケーションに不可欠な対話的修正（interactive correction）は、ASR研究において体系的に研究されることはほとんどありません。本論文では、これら2つの観点を、エージェント型の枠組みに基づく対話的ASRのために統合します。認識品質をトークンレベルの精度を超えて評価するために、意味を考慮した評価指標として「LLM-as-a-Judge」を活用することを提案します。さらに、LLM駆動のエージェント・フレームワークを設計し、人間に近い多ターンの対話を模擬することで、意味に基づくフィードバックを通じて認識出力を反復的に改善できるようにします。GigaSpeech（英語）、WenetSpeech（中国語）、ASRU 2019のコードスイッチングテストセットといった標準ベンチマークに対して、広範な実験を行います。客観評価と主観評価の両方により、提案フレームワークが意味の忠実性と対話的修正能力の向上に有効であることが示されます。今後の対話的かつエージェント型ASRの研究を促進するために、コードを公開します。