無制限音声の同時通訳のための階層型ポリシー最適化

概要: 同時音声翻訳（SST）は、音声入力の一部を受信しながら翻訳を生成します。近年の進展では、大規模言語モデル（LLM）がSSTの品質を大幅に向上できることが示されていますが、その代償として高い計算オーバーヘッドが必要になります。このコストを削減するために、先行研究ではSSTをマルチターンの対話タスクとして再定式化し、LLMの重要なキー・バリュー（KV）キャッシュを完全に再利用できるようにするとともに、冗長な特徴の再計算を排除する手法が提案されました。しかし、このアプローチは、対話形式での教師あり微調整（SFT）データに依存しており、そのような人手アノテーションはほとんど存在しません。また、既存の合成手法ではデータ品質を保証できません。本研究では、不完全なSFTデータで学習されたモデルを事後学習する、階層的ポリシー最適化（HPO）アプローチを提案します。翻訳品質とレイテンシ（遅延）の目的を両立させる階層的報酬を導入します。英語から中国語/ドイツ語/日本語への実験により、レイテンシ1.5秒の条件下でCOMETスコアが+7以上、MetricXスコアが+1.25以上改善することを示します。さらに、包括的なアブレーション研究により、異なる品質報酬、階層的報酬の定式化、セグメンテーション戦略の有効性が検証されています。コードはここで確認できます https://github.com/owaski/HPO