人間のパーソナリティ特性・社会人口統計・ソーシャルメディア行動を“影”として捉えながら、LLMが社会問題について討論する様子をマッピングする

Abstract

大規模言語モデル（LLM）は社会的言説を強く形作り得る一方で、制御された社会的・文脈的プロンプトにわたってLLMの出力がどのように変動するかを調べるデータセットは、依然として乏しい。認知デジタルシャドウ（Cognitive Digital Shadows: CDS）は、LLMが生成した言説の分析を支える190,000件の合成コーパスである。CDSの各レコードは19個のLLMのいずれかによって生成され、人間のパーソナ（個人としての人格）またはAIアシスタントの役割のいずれかをシャドウするようにプロンプトされる。CDSには、4つの物議を醸す社会トピックに関するLLMの応答が含まれる：ワクチン／ヘルスケア、ソーシャルメディアにおける誤情報、科学におけるジェンダー・ギャップ、STEMにおけるステレオタイプである。パーソナ条件付けレコードは17の社会人口学的および心理学的属性をエンコードしており、LLMのプロンプト、言語、スタンス、推論を結び付けるデータを提供する。テキストはトピックのアンカー付けについて検証されており、解釈可能なNLP（例：テキストのフォーマ・メンティス・ネットワーク）を通じて感情分析を支援できる。CDSは、ユーザーフレンドリーなダッシュボードを備えたプーリング（集約）プラットフォームによって強化されており、パーソナ、トピック、モデル間での感情的・意味論的な枠組み付けを、容易かつ対話的にグループ単位で比較できる。CDSのプロンプト枠組みは、今後のLLMのバイアス、社会的感受性、アラインメント（整合性）に関する監査を可能にする。