BlasBench：アイルランド語音声認識のためのオープンベンチマーク

Abstract

アイルランド語に特化した公開ベンチマークは、共有されたアイルランド語を意識した評価プロトコルの下でエンドユーザー向けASRシステムを比較していません。これを解決するために、fadas、lenition、eclipsisを保持しつつ、アイルランド語を意識したテキスト正規化を行うオープンな評価ハーネスであるBlasBenchを公開します。Common Voiceのga-IEとFLEURSのga-IEに対して、4つのアーキテクチャ系統にまたがる12のシステムをベンチマークします。すべてのWhisper系バリアントが100%を超えるWERを達成しています。最良のオープンモデル（omniASR LLM 7B）は、Common Voiceで30.65%、FLEURSで39.09%のWERを達成しました。Common Voiceで微調整されたモデルは、FLEURSで33〜43 WERポイント低下することを確認しました。これは、単一データセットでの評価では見えない一般化ギャップを示しています。