SemEval-2026 タスク6におけるCLaC：政治的言説における応答の明瞭性検出

arXiv cs.CL / 2026/5/5

📰 ニュースDeveloper Stack & InfrastructureModels & Research

共有:

要点

本論文は、米国の大統領インタビューにおける質問–回答ペアを対象に、応答の明瞭性と回避（evasion）を検出するSemEval-2026タスク6（CLARITY）のシステムを提案する。
実験では、LLMアンサンブルが3クラスのタスク1でmacro-F1 80、9クラスのタスク2で59を達成しており、ラベルの粒度が異なる場合でも良好な性能を示している。
トランスフォーマーエンコーダでは、4段階の学習パイプラインと部分的なエンコーダ層の凍結解除（unfreezing）により、フルファインチューニングを大きく上回る結果が得られた。
さらに、タスク特化のパラメータ更新を行わないプロンプトベースLLMが、微調整エンコーダを上回り、とりわけ少数クラスで有利であることが示されている。
入力を強化し、インタビュアーの発話全体を連結するとLLMの性能は向上するがエンコーダには効果が見られず、残る主な失敗要因は「明瞭な返信（Clear Reply）」と「曖昧（Ambivalent）」の境界で、人手アノテーションの不一致とも一致している。