プロンプト知識チューニングによるオンライン行動分析における社会的要因への偏りを軽減する大規模言語モデル

要旨: 属性理論（Attribution theory）は、個人が社会的文脈の中で他者の行動を解釈し、それを帰属（アトリビューション）する方法を、個人的（性向的）因果と非個人的（状況的）因果を用いて説明する。人間が生成したコーパスで訓練された大規模言語モデル（LLM）は、社会的文脈においてこの社会的帰属のプロセスを暗黙的に模倣している可能性がある。しかし、LLMが推論においてこれらの因果的帰属をどの程度利用しているかは、十分に調べられていない。Chain-of-Thought（CoT）などの推論パラダイムを用いることはさまざまなタスクで有望な結果を示しているが、推論において社会的帰属を無視すると、社会的文脈におけるLLMの応答が偏ってしまう可能性がある。本研究では、性向的因果を推定するためにユーザーの目標を知識として組み込むこと、ならびに状況的因果を推定するためにメッセージ文脈を組み込むことが、LLMの性能に与える影響を調査する。そのために我々は、社会メディア・メッセージの文脈と目標に基づいて、社会的帰属の知識を用いた2つのプロンプト支援（prompt aids）をLLMの指示プロンプトに追加することで、こうしたバイアスを軽減するためのスケーラブルな手法を提案する。この手法は、行動分析（behavior analytics）アプリケーションにおけるゼロショット分類タスクでの推論において、社会的帰属バイアスを低減しつつモデル性能を向上させる。我々は、災害領域における社会メディアでの2つのタスク—意図検出（intent detection）とテーマ検出（theme detection）—に対して、災害の種類の多様性と社会メディアの複数言語を考慮した場合に、我々の手法の有益性を実証的に示す。さらに本実験は、Llama3、Mistral、Gemmaという3つのオープンソースLLMが社会的帰属に対して示すバイアスを明らかにするとともに、こうした軽減戦略の有効性を示している。