LLMベースASRにおけるエントロピー配分の再考：音声エンコーダとLLMの力学を理解する

要旨: 大規模言語モデル（LLM）を自動音声認識（ASR）に統合することは、支配的なパラダイムとなっています。近年のLLMベースのASRモデルは公開ベンチマーク上で有望な性能を示しているものの、認識品質とレイテンシおよびオーバーヘッドのバランスをとることは依然として難しく、さらに幻覚（ハルシネーション）が現実の導入を一層制限しています。本研究では、エントロピー割り当ての観点からLLMベースASRを改めて見直し、学習パラダイムが音声エンコーダとLLMの間でどのようにエントロピー低減を配分するかを特徴づけるための3つの指標を導入します。従来のアプローチにおけるエントロピー割り当ての非効率を改善するため、能力境界（capability boundary）への注意に基づく、原理に沿った多段階学習戦略を提案します。これにより、パラメータ効率と幻覚の頑健性を最適化します。具体的には、音声-テキストのモダリティギャップを緩和するように事前学習戦略を再設計し、さらにアラインメントと共同SFTの間に反復的な非同期SFT段階を導入することで、機能的なデカップリング（分離）を維持し、エンコーダ表現のドリフトを抑制します。マンダリンおよび英語のベンチマークでの実験により、本手法は2.3Bパラメータのみで最先端モデルと競合する性能を達成できることが示され、加えてデカップリング志向の設計により幻覚を効果的に緩和できることも確認されました。