「プロンプト持ち込み」：用途（ユースケース）に応じたLLMのバイアスと公平性評価

概要: 大規模言語モデル（LLM）におけるバイアスと公平性のリスクは、導入（デプロイメント）の状況によって大きく異なる一方で、既存の手法には、適切な評価指標を選択するための体系的な指針が欠けています。私たちは、モデルとプロンプトの集団によって特徴づけられるLLMの利用事例を、タスクの種類、プロンプトに保護属性の言及が含まれるかどうか、ならびに利害関係者の優先事項に基づいて、関連するバイアスおよび公平性の指標へと対応づける意思決定フレームワークを提示します。このフレームワークは、毒性、ステレオタイプ、反事実的不公平、ならびに配分（割当）上の害を扱い、ステレオタイプ分類器およびテキスト類似度指標の反事実的適応に基づく新しい指標を導入します。実用的な導入のために、オープンソースのPythonライブラリ\texttt{langfair}を公開します。5つのLLMと5つのプロンプト集団にまたがる利用事例に対して行った大規模な実験により、公平性リスクはベンチマーク性能だけからは信頼できる形で評価できないことが示されました。あるプロンプトデータセットで得られた結果は、別のプロンプトデータセットにおけるリスクを過大評価または過小評価している可能性が高く、したがって公平性の評価は、特定の導入状況に根差して行われるべきであることが強調されています。