T2I-BiasBench:テキストから画像へのモデルにおける人口統計的・文化的バイアスを監査するためのマルチメトリクス・フレームワーク
arXiv cs.CV / 2026/4/15
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、人口統計的バイアス、要素の脱落(omission)、および文化の崩壊(cultural collapse)を同時に監査するための、統一されたマルチメトリクス・フレームワークであるT2I-BiasBenchを提案する。
- 本ベンチマークでは、3つのオープンソース・モデル(Stable Diffusion v1.5、BK-SDM Base、Koala Lightning)を、Gemini 2.5 Flash(RLHFにより整列されたモデル)と比較し、5つの構造化されたプロンプトカテゴリに対して生成された1,574枚の画像で評価する。
- T2I-BiasBenchは、補完的な13の指標を用いる。これには4つの新規提案指標(例:Composite Bias Score、Cultural Accuracy Ratio)と、異なる失敗モードを捉えるために適応された3つの指標が含まれる。
- 結果として、Stable Diffusion v1.5とBK-SDMでは、美に関するプロンプトにおいてバイアスが増幅される一方で、特定の文脈上の制約(例:外科用PPE)が、専門職としての役割に紐づくジェンダーバイアスを弱めることが示される。
- 評価した全てのモデルにおいて文化領域のカバレッジ不足(coverage gap)が継続しており、整列(RLHFを含む)を行っても文化的表現の崩壊を防げないことが分かる。また、標準化された評価のためにベンチマークは公開されている。




