ProText：長文テキストにおける（ミス）ジェンダリングを測定するためのベンチマークデータセット
arXiv cs.CL / 2026/3/31
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- ProTextは、スタイルの多様な入力にわたる長文の英語テキストにおけるジェンダリング／ミスジェンダリングを測定するための新しいベンチマークデータセットである。
- このデータセットは3つの主要な次元をカバーしている――テーマとなる名詞（例：氏名／職業／肩書／親族関係の用語）、テーマのカテゴリ（ステレオタイプ上の男性的／女性的 vs ジェンダー中立／非ジェンダー化）、および代名詞のカテゴリ（男性形／女性形／ジェンダー中立／なし）。
- これは、代名詞解決のベンチマークを超えて、要約や書き換えといったテキスト変換の過程で、最先端のLLMがどのように（ミス）ジェンダリングを導入または増幅し得るかを評価することを目的としている。
- 小規模な検証研究によれば、入力に明示的なジェンダー手がかりがない場合に特に、体系的なジェンダーバイアスが示唆されており、モデルが異性愛規範的な前提にデフォルトで寄りやすい傾向がある。
- ProTextは、比較的小さなプロンプト／モデルの組に基づいても、バイアス、ステレオタイプ化、ミスジェンダリングの影響をよりきめ細かく分析できることを目指している。
