表層的な判断を超えて：LLMが生成した偽情報に対する人間に根ざしたリスク評価

概要: 大規模言語モデル（LLM）は、説得力のある物語を大量に生成できるため、それらが誤情報キャンペーンに用いられる可能性に関する懸念が生じます。このリスクを最終的に評価するには、読者がそのようなコンテンツをどのように受け取るのかを理解する必要があります。しかし実際には、人間による直接評価の代替として、LLM判定者が低コストの手段としてますます用いられている一方で、それらが読者の反応を忠実に追跡しているかどうかは不明なままです。本研究では、この状況における評価を代理妥当性（proxy-validity）の問題として再定式化し、LLM判定者を人間の読者の応答に対して監査します。290本のアラインされた記事、2,043件の対となる人間評価、および8人の最先端の判定者による出力を用いて、判定者—人間の一致を、全体スコア、項目レベルの順序付け、そして信号への依存という観点で検討します。その結果、判定者—人間の間には一貫したギャップが継続的に見られることが分かりました。人間と比べて、判定者は一般により厳格であり、項目レベルの人間のランキングを取り戻す力は弱く、異なるテキストの手がかりに依拠しています。具体的には、論理の厳密さにはより重みを置く一方で、感情的な強度をより強く減点します。同時に、判定者同士は人間の読者と比べて互いに大きく一致します。これらの結果は、LLM判定者が、読者との整合性よりも内部での整合性の方がはるかに高い、首尾一貫した評価グループを形成していることを示唆しており、したがって、内部での合意は、読者の応答の代理としての妥当性の証拠にはならないことを示しています。