Web規模データとアンサンブルLLM注釈による一般化されたクロスリンガル差別・憎悪表現検出への道筋

Abstract

本研究では、大規模なラベルなしWebデータとLLMベースの合成注釈が、多言語のヘイトスピーチ検出を改善できるかどうかを検討する。4つの言語（英語、ドイツ語、スペイン語、ベトナム語）でOpenWebSearch.eu~(OWS)経由でクロールしたテキストから出発し、2つの補完的な戦略を追究する。第一に、BERTモデルに対して、ラベルなしのOWSテキスト上でマスク言語モデリングを継続して行い、その後に教師あり微調整を行うという形で、継続事前学習を適用し、16のベンチマークにわたって標準的なベースラインに比べて平均マクロF1が約3%向上し、特に低リソース環境でより大きな改善が得られることを示す。第二に、4つのオープンソースLLM（Mistral-7B、Llama3.1-8B、Gemma2-9B、Qwen2.5-14B）を用い、3つのアンサンブル戦略（平均化、多数決、LightGBMのメタ学習器）によって合成注釈を生成する。LightGBMアンサンブルは一貫して他の戦略よりも優れている。これらの合成ラベルによる微調整は、小型モデル（Llama3.2-1B: +11% のプールドF1）に対して大きく有益である一方、より大きなQwen2.5-14Bではわずかな改善にとどまる（+0.6%）。本結果は、Web規模のラベルなしデータとLLMアンサンブルによる注釈の組み合わせが、小型モデルと低リソース言語にとって最も価値が高いことを示している。