段階評価における人手評価の不一致を定量化し、予測する

要旨: 人間のアノテータは常に一致するわけではないこと、そしてこのような不一致は多くのアノテーション課題に固有のものであることが、ますます認識されてきています。しかし、ある課題におけるすべての事例が、同じ程度の意見の分岐を引き起こすわけではありません。本論文では、不適切な言語に対する段階的な人間の評価（攻撃的な言語、ヘイトスピーチ、毒性言語の認識を含む）におけるアノテーションのばらつきのパターンを調査します。さらに、アノテーションの不一致の程度が、テキストの特徴から予測できるかどうかを検討します。加えて、特定の項目に対するアノテータ間の視点の対立（オポジション）を定量化する指標である Opposition Index（対立指数）を提案し、潜在的に相反する人間の意見を伴う事例が予測可能かどうかを調査します。結果として、推定されたアノテーションの分散と観測された分散の間に、中程度の正の相関が見られました。分散予測においては、2つの手法が同等の性能を達成します。すなわち、分散値を直接予測する方法と、予測されたアノテーション分布から分散を推定する方法です。また、対立する視点の予測に関する結果では、対立指数の値が高い項目ほど予測が難しく、モデルによってしばしば過小評価されることが示されました。