スタンス・ラベルは最も重要な場面で失敗する：スタンス検出における射影問題

概要: スタンス検出は、ほぼ常に、テキストを「賛成（Favor）」「反対（Against）」「中立（Neutral）」のいずれかに分類する形で定式化されます -- この慣習は討論分析に由来し、SemEval-2016 以降、そのまま修正せずにソーシャルメディアへ適用されてきました。 しかし、複雑な対象に対する態度は単一ではありません。たとえば、ある人物は気候科学を受け入れつつ炭素税には反対することができ、ある次元では支持を表明し、別の次元では反対を表明できます。 付与者（アノテータ）がこのような多次元の態度を単一のラベルに圧縮しなければならないとき、付与者ごとに異なる次元の重み付けが行われます -- その結果、生じる不一致は混乱を反映するものではなく、異なる圧縮の選択を反映したものになります。私たちはこれを
\textbf{投影問題（projection problem）} と呼び、そのコストは条件付きであることを示します。すなわち、テキストの次元が整合している場合は、どのような重み付けでも同じラベルになり、三方向（3クラス）のアノテーションがうまく機能します。一方、次元が衝突している場合は、ラベルの一致が崩れますが、個々の次元に関する一致は保たれます。 SemEval-2016 タスク6 に関するパイロット研究により、この交差（クロスオーバー）が確認されます。次元整合のあるテキストでは、ラベル一致（Krippendorff の \alpha = 0.307）が次元一致（\alpha = 0.082）を上回ります。次元衝突のあるテキストでは、そのパターンが反転し、ラベルの \alpha は 0.085 に低下する一方で、次元の \alpha は 0.334 に上昇し、さらに Policy が 0.572 に達します。投影問題は実在しますが、それが最も重要な場面でちょうど発動します。