ControBench：ソーシャルネットワーク上の物議を醸す言説分析のための、相互作用を考慮したベンチマーク

要旨: オンライン上で、人々がイデオロギーの隔たりを越えてどのように議論するのかを理解することは、政治的分極化、誤情報、コンテンツモデレーションを研究する上で重要である。既存のデータセットはこの問題の一部しか捉えていない。テキストは保持するが相互作用の構造を無視するもの、豊かな意味論を欠いたまま構造をモデル化するもの、安定したユーザーレベルのイデオロギー的アイデンティティを持たない会話を表すものがある。私たちは、異種の社会的相互作用グラフと豊かなテキスト意味論を組み合わせた、物議を醸す言説の分析のためのベンチマーク ControBench を提案する。ControBench は、3つの話題であるトランプ、人工妊娠中絶、宗教に関するRedditの議論から構築されており、7,370人のユーザー、1,783件の投稿、26,525件の相互作用を含む。グラフは、意味的に強化されたエッジで結ばれたユーザーノードと投稿ノードを含む。とりわけ、ユーザー‐コメント‐ユーザーのエッジは、返信と、それが応答している親コメントの両方を符号化しており、局所的な議論の文脈を保持する。ユーザーのラベルは、自らが申告したRedditのフレア（バッジ）から導出され、手作業によるアノテーションなしに、イデオロジー的アイデンティティのスケーラブルな代理指標を提供する。その結果得られたデータセットは、調整済み同類性（adjusted homophily）が低い、あるいは負（Trump: -0.77、Abortion: 0.06、Religion: 0.04）であり、現実世界の議論が持つ横断的（cross-cutting）な構造を反映している。私たちは ControBench に対して、グラフニューラルネットワーク、事前学習済み言語モデル、大規模言語モデルを評価し、トピックやモデル系統ごとに異なる性能パターンを観察する。特に、イデオロギーの境界が曖昧な場合に顕著である。これらの結果により、ControBench は物議を醸す言説分析における、困難で現実的なベンチマークとして位置付けられる。