MALicious INTent Datasetと拡張された偽情報検出のためのLLMsの予防接種

要約: 故意的なデマの創出と拡散は、公共の議論に重大な脅威をもたらします。しかし、既存の英語データセットと研究は、デマの背後にある意図性をほとんど扱いません。この研究は MALINT を提示します。専門家のファクトチェッカーと協力して開発された、デマとその悪意ある意図を捉える初の人手注釈付き英語コーパスです。私たちはこの新規コーパスを用いて、12の言語モデルをベンチマークします。小型言語モデル（SLMs）としての BERT や、Llama 3.3 のような大型言語モデル（LLMs）を含む、二値および多ラベルの意図分類タスクで評価します。さらに、心理学とコミュニケーション研究の接種理論に触発され、悪意ある意図に関する知識を組み込むことがデマ検出を改善できるかどうかを調べます。この目的のため、意図分析を統合してデマの説得的影響を緩和する、LLM 向けの意図強化推論である「意図ベースの接種」を提案します。6つのデマデータセット、5つのLLM、および7言語を用いた分析は、意図を拡張した推論がゼロショットのデマ検出を改善することを示しています。意図認識型デマ検出の研究を支援するため、各注釈ステップからの注釈を含む MALINT データセットを公開します。