大規模言語モデルはテキスト注釈に用いられると人種的ステレオタイプを再現する

要旨: 19の大規模言語モデル（LLMs）と総計400万件を超える注釈判断を含む2つの実験を通じて、テキストに埋め込まれた微妙なアイデンティティの手掛かりが、結果として注釈結果を人種的ステレオタイプを反映する形で体系的に偏らせることを示しています。39の注釈タスクを横断する名前ベースの実験では、黒人に関連する名前を含むテキストは、19モデル中18モデルによってより攻撃的と評価され、18モデルがよりうわさ好きだと評価します。アジア系の名前はバンブー・シーリングに相当するプロファイルを生み出す。19モデル中17モデルが個人をより知的だと評価し、18モデルが自信が低く、社交性が低いと評価する。アラブ系の名前は認知的評価の向上と対人関係の評価低下を同時に引き起こし、4つの少数派グループはすべて一貫して自己規律が低いと評価される。方言を合わせた実験では、同じ文がアフリカ系アメリカン英語（African American Vernacular English）で書かれた場合、標準アメリカ英語よりもかなり専門的でないと評価される（すべての19モデル、平均差 -0.774）、教育を受けた話者を示す指標性が低い（-0.688）、より有害性が高い（18/19）、より怒っていると評価される（19/19）。名前ベースの採用可能性には著しい例外が生じ、ファインチューニングが過剰に補正され、少数派名の応募者を体系的に有利に評価する可能性がある。これらの発見は、LLMsを自動注釈者として使用することが、研究・統治・意思決定をますます支えるデータセットや測定結果に、社会的にパターン化された偏見を直接埋め込む可能性があることを示唆しています。