要旨:政治的な発言者は、質問に直接答えることを避けつつ、応答しているかのように見せることが多い。公的な議論にとって重要であるにもかかわらず、そのような戦略的回避は自然言語処理の分野では十分に探究されていない。私たちは SemEval-2026 タスク6, CLARITY を紹介します。これは政治的な質問の回避に関する共有課題で、二つのサブタスクから成ります:(i)「明確な返信」(Clear Reply)、「曖昧」(Ambivalent)、「明確でない返信」(Clear Non-Reply)へ明確さレベル分類、(ii)九つの細かな回避戦略に基づく回避レベル分類。ベンチマークは米国大統領のインタビューから構築され、応答の明確さと回避の専門家に基づく分類体系に従います。課題には124チームが登録し、明確さレベル分類には946件の有効な提出を、回避レベル分類には539件を提出しました。結果は二つのサブタスク間の難易度に大きな差があることを示しています。明確さ分類で最高のシステムは0.89のマクロF1を達成し、最も強力なベースラインを大幅に上回りました。一方、回避レベル分類のトップシステムは0.68のマクロF1に達し、ベストベースラインに匹敵しました。総じて、大規模言語モデルを用いたプロンプトと分類体系の階層的活用が最も効果的な戦略として浮上し、トップシステムは二つのサブタスクを独立に扱うものを一貫して上回りました。CLARITYは政治的応答回避を計算機による談話分析の難問として確立し、政治言語における戦略的曖昧さのモデリングの難しさを強調します。
SemEval-2026 Task 6: CLARITY -- 政治的質問回避の暴露
arXiv cs.CL / 2026/3/17
📰 ニュースModels & Research
要点
- SemEval-2026 Task 6 CLARITYは、政治的質問回避のベンチマークを導入します。2つのサブタスクとして、明確さレベル分類(Clear Reply、Ambivalent、Clear Non-Reply)と、回避レベルを9つの戦略に分類するタスクを特徴とします。戦略は米国大統領のインタビューから抽出されたものです。
- 本タスクはサブタスク間の難易度差が大きいことを浮き彫りにしており、明確さのマクロF1で最高0.89、回避のマクロF1でトップは0.68に達しました。
- 大規模言語モデルを用いたプロンプト設計と、回避分類の階層的な利用が最も効果的な戦略であり、サブタスクを独立に扱うシステムを上回りました。
- この課題には登録チーム124、明確さタスクには946件の有効な提出、回避には539件の提出が集まり、政治的応答の回避を計算的談話分析の難しいベンチマークとして確立しました。