要旨: アフガニスタンの主要言語であるダリー語(Dari)は、数千万の人々に話されていますが、誤情報検出の研究文献にはほとんど登場していません。私たちはこの欠落を埋めるために、ダリー語のYouTube動画9,224本からなる、最初の手作業による注釈付きデータセットであるDariMisを提案します。このデータセットは2つの次元に基づいてラベル付けされています:情報タイプ(誤情報、部分的に真実、真実)と害のレベル(低、中、高)。中心的な実証的発見は、これらの次元が独立ではなく構造的に結び付いているという点です。誤情報の55.9%は少なくとも中程度の害の可能性を伴うのに対し、真実の内容ではわずか1.0%です。これにより、情報タイプ分類器はコンテンツモデレーションのパイプラインにおいて、暗黙の害評価(ハーム・トリアージ)フィルタとして機能し得ます。
さらに、動画のタイトルと説明を別々のBERTセグメント入力として表現する、2入力のエンコーディング戦略を提案します。これにより、見出しの主張と本文の内容の間に存在する意味的関係を明示的にモデリングします。これは誤解を招く情報の重要なシグナルです。単一フィールドの連結に対するアブレーション研究では、2入力エンコーディングが誤情報リコールにおいて7.0パーセントポイントの向上(60.1%から67.1%)をもたらすことが示されます。これは、安全性に直結する少数クラスにおいてです。一方で、全体のマクロF1にはわずかな差しかなく(0.09パーセントポイント)、それでもなお改善が得られます。ダリー語/ファルシー語に特化したモデル(ParsBERT)をXLM-RoBERTa-baseとベンチマークすると、ParsBERTはテスト性能が最良で、精度76.60%、マクロF1が72.77%となります。すべての指標についてブートストラップ95%信頼区間を報告し、結果の実用的意義と統計的限界の両方について議論します。
DariMis:YouTube上のダリ語によるデマ検出のための害悪(ハーム)を考慮したモデリング
arXiv cs.CL / 2026/3/25
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- DariMisは、ダリ語のYouTube動画9,224本を対象に、情報の種類(デマ/一部真実/真実)と害のレベル(低/中/高)の両方で手作業による注釈付けを行った、最初の手動アノテーション付きデータセットとして提示される。
- 本研究では、2つの注釈次元が構造的に結び付いており、デマの55.9%が少なくとも中程度の害を伴うのに対し、真実コンテンツでは1.0%にとどまることが示される。これは、デマ検出器が暗黙の「害リスクのトリアージ」フィルタとして機能し得ることを示唆する。
- ペア入力のエンコーディング手法(YouTubeのタイトルと説明をそれぞれBERTセグメントとして別々にエンコード)により、単一フィールドの連結と比べてデマのリコールが7.0ポイント向上する(60.1%から67.1%へ)。
- ベンチマークでは、ダリ語/ペルシア語に焦点を当てたParsBERTモデルが、XLM-RoBERTa-baseを上回り、テストセットで76.60%の精度と72.77のマクロF1を達成する。指標には信頼区間も報告されている。
- 本成果は、安全性が重要な検出における実用的価値と、統計的な制約の両方を強調しており、アブレーション研究と、マクロ指標と少数クラスのトレードオフに関する議論を含む。
