SemEval-2026 Task 6：政治的な質問回避の“隠し”をあぶり出すためのLLM拡張データによるDeBERTa（Duluthの取り組み）

arXiv cs.CL / 2026/4/23

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、SemEval-2026 Task 6（CLARITY）向けに、政治的な質問回避を見抜き、回答の明確さを2段階のタクソノミーで分類する「Duluth」システムを報告する。
手法はDeBERTa-V3-baseをベースに、焦点損失（focal loss）、層ごとの学習率減衰（layer-wise learning rate decay）、ブール型ディスコース特徴を追加して、質問–回答ペアの明確さ/回避をより良く分類するよう拡張されている。
学習データのクラス不均衡に対しては、Gemini 3とClaude Sonnet 4.5で少数クラスの合成例を生成し、LLMによるデータ拡張で補っている。
Task 1の評価セットでの最良構成はMacro F1 0.76（40チーム中8位）で、政治的な対話のような微妙な文脈で少数クラスのリコール改善につながる一方、主な誤りは「Ambivalent（曖昧）」と「Clear Reply（明確な回答）」の混同である。
誤り分析では、人手アノテータ間の意見不一致と同様のパターンが見られ、アノテーションの曖昧さが依然として大きな課題であることが示唆される。