Abstract
要旨文献の多くの研究は、LLMの出力が差別的な振る舞いを示し、入力が書かれている方言に基づくステレオタイプに基づく推論を引き起こすことを示している。このバイアスは、同じ入力が標準アメリカ英語(SAE)とアフリカ系アメリカ人英語(AAE)でLLMに提供されたときに特に顕著であることが示されている。本文では、LLM出力における方言感受性ステレオタイプ生成の既存の分析を再現し、役割ベースのプロンプトや Chain-Of-Thought プロンプティングを含むプロンプトエンジニアリングや、生成-批評-改稿モデルからなるマルチエージェントアーキテクチャを含む緩和戦略の効果を検討する。SAEまたはAAE話者に対する提案名、職業、形容詞など、方言バイアスが現れるさまざまな方法を分析するために、8つのプロンプトテンプレートを定義する。我々は結果の偏りを評価するために、LLMを審判として用いるアプローチを採用する。結果は、SAE関連出力とAAE関連出力の間で、すべてのテンプレートカテゴリーにおいてステレオタイプを含む差異が現れることを示しており、最も強い効果は形容詞付与と職業属性付与で観察される。ベースラインの格差はモデルごとに大きく異なり、SAE-AAE差は Claude Haiku で最大、 Phi-4 Mini で最小である。Chain-Of-Thoughtプロンプティングは Claude Haiku にとって有効な緩和戦略であることが示され、一方でマルチエージェントアーキテクチャの使用により、すべてのモデルで一貫した緩和が達成された。これらの知見は、交差性を取り入れたソフトウェア工学において、公平性評価は緩和戦略のモデル固有の検証と、ハイインパクトなLLM展開におけるワークフロー層の制御(例:批評モデルを含むエージェント的アーキテクチャ)を含めるべきであることを示唆している。現在の結果は探索的であり、範囲は限定的であるが、データセットの規模を拡大し、手法を別の言語や方言に適用することで拡張・再現につながり得る。




