AIのHrunting: 英語方言の公正性をどこで、どう改善するか

要旨: 大規模言語モデル（LLMs）は英語方言において性能が振るわず、データ不足のため改善が難しいことが知られている。本研究では、品質と可用性がこの文脈でのLLM改善の実現可能性にどのように影響するかを調査する。これを検証するため、研究がほとんどされていない3つの英語方言（ヨークシャー方言、ジョーディー方言、コーンウォール方言）に加え、アフリカ系アメリカ英語（AAVE）と対照としてウェスト・フリジア語を評価する。人間同士の合意が、LLM生成品質を決定する際にLLMを審判として用いる場合の性能に直接影響することを発見した。すなわち、LLMと人間の合意は人間同士の合意パターンを模倣し、精度などの指標も同様である。これは、LLMと人間の合意が人間のコンセンサスに対する整合性を測る指標であるため、合意が低い集団が少ない地域でLLMの性能を改善する実現可能性に疑問を投げかける。さらに、ファインチューニングはこのパターンを英語方言で根絶せず、むしろ拡大する可能性があることにも注意する。一方で、いくつかのLLMsが高品質なデータを生成できる能力など、スケーラビリティを可能にする有望な兆候も見られる。データは公正で包摂的なLLMの改善を確実にするために慎重に評価されるべきであり、データ不足が存在する場合には、見つかったパターンに対処する新しいツールが必要である、と主張する。