120,000人超のペルソナで検証：LLMエージェントはSNS反応を予測できるが、テキスト分類器には及ばない（1511人の人間データを用いたベンチマークシミュレーション精度）

概要: ソーシャルメディア・プラットフォームは、何十億もの人々が意見を形成し、公的言説と関わる方法を仲介している。自律的なAIエージェントがこれらの場にますます参加するようになる中で、それらの行動の忠実性を理解することは、プラットフォームのガバナンスと民主主義のレジリエンスにとって重要になる。先行研究は、LLMを活用したエージェントが集計された世論調査の回答を再現できることを示しているが、エージェントが特定の個人の、特定のコンテンツに対する反応を予測できるかどうかを検証した研究はほとんどない。本研究では、1,511人のセルビア人参加者と27の大規模言語モデルから導出した、120,000超のユニークなエージェント・パーソナ組み合わせにわたって、人間のソーシャルメディア反応（いいね、嫌い、コメント、共有、反応なし）を予測する際の、LLMベース・エージェントの精度をベンチマークする。研究1では、エージェントは全体で70.7%の精度を達成し、LLMの選択によって13ポイントの性能差が生じた。研究2では、二値の強制選択（いいね／嫌い）評価を用い、偶然補正の指標を採用した。エージェントはMatthews相関係数（MCC）0.29を達成し、偶然を超える真に予測可能なシグナルがあることを示している。しかし、TF-IDF表現を用いた従来のテキストベースの教師あり分類器は、LLMエージェントを上回った（MCC 0.36）。これは、予測上の向上が、独自のエージェント的推論というよりも、意味へのアクセスによってもたらされていることを示唆する。ゼロショットのパーソナ・プロンプト型エージェントの、予測としての妥当性が本物であることは、ソーシャルメディア上で行動特性の異なるAIエージェントの群れを容易に展開することで起こり得る操作を警告する。一方で、そのようなエージェントをシミュレーションに用いて、分極化のダイナミクスを予測し、AI政策に情報を与えるという機会も同時に提供する。ゼロショット・エージェントを使う利点は、タスク固有の学習を必要としないため、多様な状況にわたって大規模に展開しやすい点にある。限界として単一国のサンプリングが挙げられる。今後の研究では、多言語によるテストや、ファインチューニングのアプローチを検討すべきである。