T2I-BiasBench:テキストから画像へのモデルにおける人口統計的・文化的バイアスを監査するためのマルチメトリクス・フレームワーク

arXiv cs.CV / 2026/4/15

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、人口統計的バイアス、要素の脱落(omission)、および文化の崩壊(cultural collapse)を同時に監査するための、統一されたマルチメトリクス・フレームワークであるT2I-BiasBenchを提案する。
  • 本ベンチマークでは、3つのオープンソース・モデル(Stable Diffusion v1.5、BK-SDM Base、Koala Lightning)を、Gemini 2.5 Flash(RLHFにより整列されたモデル)と比較し、5つの構造化されたプロンプトカテゴリに対して生成された1,574枚の画像で評価する。
  • T2I-BiasBenchは、補完的な13の指標を用いる。これには4つの新規提案指標(例:Composite Bias Score、Cultural Accuracy Ratio)と、異なる失敗モードを捉えるために適応された3つの指標が含まれる。
  • 結果として、Stable Diffusion v1.5とBK-SDMでは、美に関するプロンプトにおいてバイアスが増幅される一方で、特定の文脈上の制約(例:外科用PPE)が、専門職としての役割に紐づくジェンダーバイアスを弱めることが示される。
  • 評価した全てのモデルにおいて文化領域のカバレッジ不足(coverage gap)が継続しており、整列(RLHFを含む)を行っても文化的表現の崩壊を防げないことが分かる。また、標準化された評価のためにベンチマークは公開されている。