機械翻訳品質推定のアノテータとしての大規模言語モデル

大規模言語モデル（LLMs）は機械翻訳品質推定（MTQE）で優れた性能を示しているが、その高い推論コストが直接的な適用を現実的でなくしている。本研究では、LLMsを用いてMQMスタイルのアノテーションを生成し、COMETモデルの訓練に活用することを提案します。Fernandes ら（2023）に従い、セグメントレベルのアノテーションはLLMsに対して強力な根拠を提供し、良好なセグメントレベルQEの鍵となると考えます。LLM選択の指針として、トップレベルのカテゴリに主に限定した簡略化されたMQMスキームを提案します。GPT-4oベースのプロンプト開発のための体系的アプローチを提示し、それをPPbMQM（Prompt-Pattern-based-MQM）と呼ぶ。得られたアノテーションは人間のアノテーションと良く相関すること、そしてそれらを用いてCOMETを訓練すると、中国語-英語および英語-ドイツ語のセグメントレベルQEで競争力のある性能を示すことを示します。