スパンレベルの機械翻訳メタ評価

要約：機械翻訳（MT）と自動MT評価は近年著しく向上しており、多数の新規アプリケーションを可能にしています。自動評価技術は、スカラー品質スコアを出す段階から、翻訳誤りを正確に特定し、それらに誤りのカテゴリーと重大度レベルを割り当てる段階へと進化しています。しかし、誤り検出を行う自動評価者の評価能力を信頼性高く測定する方法はまだ明確ではない。文献には確立された手法が存在しません。本研究は、スパンレベルの適合率、再現率、およびF値のさまざまな実装を調査し、一見似ているアプローチが実質的に異なるランキングを生む可能性があること、そして広く用いられている特定の手法がMTの誤り検出の評価には適さないことを示します。私たちは、マイクロ平均を用いた堅牢なメタ評価戦略として「部分的重なりと部分的クレジットでの一致」（MPP）を提案し、その使用のためのコードを公開します。最後に、MPPを用いてMT誤り検出の最先端を評価します。