CHASM：中国のソーシャルメディアに潜むステルス広告を解明する

要旨：ソーシャルメディアのモデレーションにおいて大規模言語モデル（LLM）を評価するための現在のベンチマークは、重大な脅威を完全に見落としている。それは、購入へと消費者を誘導するために、通常の投稿を装って自己を巧妙に偽装し、欺いて誤導する「潜在的な広告（covert advertisements）」である。これにより、重大な倫理的および法的懸念が生じる。本論文では、ソーシャルメディア上で潜在的な広告を検出する能力を、マルチモーダル大規模言語モデル（MLLM）に対して評価するための、初の試みとなるデータセット「CHASM」を提示する。CHASMは、中国のソーシャルメディアプラットフォームであるRednoteに由来する現実のシナリオに基づき、4,992件のインスタンスから成る高品質で匿名化された、手作業によるキュレーションのデータセットである。このデータセットは、厳格なプライバシー保護および品質管理のプロトコルのもとで収集・注釈付けされた。潜在的な広告に非常に酷似した多くの製品体験共有投稿を含むため、データセットは特に難易度が高い。結果は、ゼロショットおよびインコンテキスト学習の両設定において、現在のいずれのMLLMも潜在的な広告を検出するうえで十分に信頼できないことを示している。さらに実験を行ったところ、本データセットでオープンソースのMLLMをファインチューニングすると、顕著な性能向上が得られることが分かった。ただし、コメント中の微妙な手掛かりの検出や、視覚的構造とテキスト的構造の違いのような、重大な課題は依然として残っている。詳細な誤り分析を提示し、今後の研究方向性を示す。本研究が、この新たな脅威に対してより正確な防御を開発するよう、研究コミュニティおよびプラットフォームのモデレーターに向けた呼びかけとなることを願っている。