翻訳か、朗読か？ 極めて低リソース言語の機械翻訳における評価スコアのキャリブレーション

概要: 極めて低リソースな機械翻訳（MT）の分野は、報告される性能に不可解なばらつきが見られることによって特徴づけられ、そのため、異なる言語ペア間の結果を文脈づけることがしばしば困難になります。古代語のような特定の言語グループに注目する研究者にとって、他の文脈（例：ネイティブのアフリカ語やアメリカ語）で報告されるブレークスルーが、より優れた手法によるものなのか、それとも単にベンチマーク収集の副産物なのかを判断することは、ほぼ不可能です。この問題に対処するため、我々はFRED 難易度メトリクスを導入します。これは、繁殖比（F）、検索プロキシ（R）、事前学習への露出（E）、およびコーパス多様性（D）を含み、報告されたスコアを文脈づけるためのデータセット固有の指標として機能します。これらの指標により、結果のばらつきのかなりの部分が、モデルの能力というよりは、訓練データとテストデータの重なりおよび事前学習への露出によって説明できることが明らかになります。さらに、いくつかの言語、特に絶滅した言語や非ラテン系の先住言語では、トークン化のカバレッジが不十分（トークン繁殖度が高い）であることを特定し、語彙を共有しない高リソース言語からモデルを移転することには根本的な制約があることを示します。性能スコアとともにこれらの指標を提供することで、異言語間転移のより透明性の高い評価を可能にし、XLR MTコミュニティに対してより信頼できる基盤を提供します。