大規模言語モデルにおける帰属バイアス

概要: 大規模言語モデル（LLM）が検索や情報検索を支援する用途でますます使われるようになるにつれ、内容をその元の著者に正確に帰属させることが重要になります。本研究では、初の「名声および人口統計においてバランスの取れた」引用帰属ベンチマークデータセットであるAttriBenchを導入します。著者の名声と人口統計を明示的にバランスさせることで、AttriBenchは引用帰属における人口統計的バイアスを統制された形で検証することを可能にします。このデータセットを用いて、さまざまなプロンプト設定の下で、広く使われている11のLLMを評価し、引用帰属が最先端モデルにとってさえ難しい課題であることを見出します。人種、性別、そして交差する属性間で、帰属精度に大きく体系的な隔たりがあることを観察します。さらに、抑制（suppression）を導入し、その失敗モードを調査します。抑制とは、モデルが著者情報にアクセスできているにもかかわらず、モデルが帰属をまったく省略してしまう、別個の失敗形態です。抑制は広く見られ、人口統計グループ間で不均等に分布していることを見出し、標準的な精度指標では捉えられていない体系的バイアスが明らかになりました。これらの結果は、引用帰属をLLMにおける表象の公平性（representational fairness）のためのベンチマークとして位置づけます。