FairQE：翻訳品質推定におけるジェンダーバイアスを軽減するマルチエージェント・フレームワーク

要旨: 品質推定（QE）は、参照訳なしで機械翻訳の品質を評価することを目的としますが、近年の研究では、既存のQEモデルが体系的な性別バイアスを示すことが明らかになっています。具体的には、性別が曖昧な文脈では男性的な実現を好む傾向があり、たとえ性別が明示的に指定されていても、性別が一致していない翻訳に対してより高いスコアを与える場合があります。これらの問題に対処するために、私たちはFairQEを提案します。FairQEは、多エージェントに基づく、公平性に配慮したQEの枠組みであり、性別が曖昧な状況および性別が明示された状況の両方において性別バイアスを緩和します。FairQEは性別の手がかりを検出し、性別を反転させた翻訳のバリアントを生成し、従来型のQEスコアと、LLMに基づくバイアス緩和のための推論を、動的なバイアス認識型の集約メカニズムを通じて組み合わせます。この設計は、既存のQEモデルの強みを維持しつつ、それらの性別関連のバイアスをプラグアンドプレイ方式で調整します。複数の性別バイアス評価設定にまたがる大規模な実験により、FairQEが強力なQEベースラインに比べて一貫して性別の公平性を改善することが示されました。さらに、WMT 2023 Metrics Shared Taskに続くMQMベースのメタ評価の下で、FairQEは競争力のある、または一般的なQE性能が向上した結果を達成しています。これらの結果は、評価精度を犠牲にすることなく、QEにおける性別バイアスを効果的に緩和できることを示しており、より公平で信頼性の高い翻訳評価を可能にします。