SemEval-2026 Task 9におけるBITS Pilani：偏向検出のためのDPOによる洗練を伴う構造化された教師あり微調整

arXiv cs.CL / 2026/4/14

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

SemEval-2026 Task 9（POLAR）は、オンライン上の偏向を多言語・多文化・複数イベントの観点から検出することを対象としている。ここでは、微妙な修辞と暗黙的な枠組み付けが注釈を高コストかつ誤りやすくしている。
BITS Pilaniの手法は、2段階パイプラインを用いる。すなわち、解釈可能なスロット埋め込みテンプレートによりLoRAを使ってQwen 2.5-7B-Instructを構造化された教師あり微調整で学習し、続いて自動生成した嗜好ペアを用いたDPOによる洗練を行う。
嗜好ベースのDPOは、人手による追加のループ（human-in-the-loop）注釈を必要とせずに、コストの高い偽陰性を低減することを目的として設計されている。
SemEval 2026のPOLARデータセットでの実験では、DPOによる洗練によって英語の開発データにおけるリコールが0.5085から0.7797へ向上し、macro-F1も約5ポイント上昇したと報告されている。

Abstract

POLAR SemEval-2026 Shared Task はオンライン・ポラリゼーション（政治的分極化）の検出を目的としており、多言語・多文化・複数イベントにまたがる分極化の分類と同定に焦点を当てています。曖昧な修辞、暗黙のフレーミング、そして人手を介した（human-in-the-loop）注釈の高コストといった要因により、オンライン・ポラリゼーションを正確に計算論的に検出することは困難です。文脈を与えるプロンプトにより、大規模言語モデルが強力な分極化検出器として機能できることを示した最近の知見を踏まえ、本研究では、構造化された教師あり微調整と Direct Preference Optimization（DPO）による洗練（refinement）を組み合わせた、ソーシャルメディア文テキストにおける政治的ポラリゼーション検出のための2段階アプローチを提案します。解釈可能なスロット充填テンプレート（target、claim type、manifestation checklist、そして justification）を用いて LoRA により Qwen 2.5-7B-Instruct を微調整します。次に、高コストな偽陰性を減らすため、自動生成した選好ペア（preference pairs）に対して DPO を適用します。SemEval 2026 POLAR shared task のデータセットに対する実験の結果、選好ベースの洗練は、追加の注釈なしで精度を向上させるだけでなく、偽陰性も減少させることが分かりました。英語の開発セットでは、DPO により再現率が 0.5085 から 0.7797 に向上し、macro-F1 が約5ポイント改善しました。