HATS：人間の知覚を統合したオープンデータセット—自動音声認識の評価指標の評価に適用

Abstract

従来、自動音声認識（ASR）システムは、音声信号に含まれる各単語を正しく認識できるかどうかによって評価されます。この文脈において、単語誤り率（WER）指標は音声書き起こし（transcripts）を評価するための基準となっています。これまでにいくつかの研究が、この指標ではASRシステムを正しく評価するには不十分であることを示しており、その結果、他の指標の変種（重み付きWER、BERTscore、意味距離など）が提案されてきました。しかし、それらは依然としてシステム指向のままであり、たとえ書き起こしが人間のために意図されている場合でも同様です。本論文ではまず、HATS（Human Assessed Transcription Side-by-side、対比較による人手評価書き起こし）を提示します。HATSは、複数のASRシステムが生成した転写エラーに関する人間の知覚に基づいて、フランス語で構築された独自の手動アノテーション付きデータセットです。143名の人間に対して、2つの仮説のうち最も良い自動書き起こしを選ばせました。さらに、語彙ベースや埋め込み（embedding）ベースのものを含む、さまざまなASR評価指標と、人間の嗜好（選好）との関係を調査しました。後者は、人間の知覚と最も相関するとされる指標です。