オンデバイス向けストリーミングASRの限界に挑む：低遅延推論のためのコンパクト高精度英語モデル

要旨: エッジデバイス上で高品質な自動音声認識（ASR）を実行するには、GPUアクセラレーションなしでCPUのみで動作しつつ、精度、レイテンシ、メモリフットプリントを同時に最適化するモデルが必要です。本研究では、エンコーダーデコーダ、トランスデューサ、LLMベースのパラダイムを含む最先端のASRアーキテクチャについて、バッチ、チャンク化、ストリーミングの推論モードにわたって評価する体系的な実証研究を行います。OpenAI Whisper、NVIDIA Nemotron、Parakeet TDT、Canary、Conformer Transducer、Qwen3-ASRの合計50を超える構成を対象とした包括的なベンチマークにより、資源が限られたハードウェアでのリアルタイム英語ストリーミングに対して最も有力な候補が、NVIDIAのNemotron Speech Streamingであることを特定します。次に、完全なストリーミング推論パイプラインをONNX Runtimeで再実装し、重要度重み付きk-量子化（importance-weighted k-quant）、混合精度スキーム、最近傍への丸め（round-to-nearest）量子化を含む複数のポストトレーニング量子化戦略を制御された形で評価し、さらにグラフレベルの演算子融合を組み合わせます。これらの最適化により、モデルサイズを2.47 GBから最小で0.67 GBまで削減しつつ、単語誤り率（WER）をフル精度PyTorchベースラインから絶対値で1%以内に維持します。推奨構成であるint4 k-quantバリアントは、8つの標準ベンチマークにおいて平均ストリーミングWER 8.20%を達成し、CPU上で0.56秒のアルゴリズムレイテンシでリアルタイムより十分に高速に動作します。これにより、オンデバイス・ストリーミングASRにおける新しい品質効率のパレート点が確立されます。