FairNVT：ノイズ注入によるビジョントランスフォーマーの公平性改善

Abstract

本論文は、タスク精度を維持しつつ、表現レベルと予測レベルの両方における公平性を改善する、事前学習済みトランスフォーマーエンコーダ向けの軽量なデバイアシング枠組みであるFairNVTを提示する。多くの既存のデバイアシング手法がこれらの概念を別々に扱うのに対し、本研究では、それらは本質的に結びついていると主張する。表現レベルでセンシティブ情報を抑制することは、より公平な予測を促進しうる。本アプローチは、軽量なアダプタを介してタスクに関連する埋め込みとセンシティブな埋め込みを学習し、センシティブな埋め込みに対して校正済みガウスノイズを適用し、それをタスク表現と融合する。直交性制約と公平性正則化とあわせて、これらの構成要素は、学習済み埋め込みにおけるセンシティブ属性の漏えいを共同で低減し、下流の予測をより公平にすることを促す。この枠組みは、多様な事前学習済みトランスフォーマーエンコーダと互換性がある。視覚と言語にまたがる3つのデータセットにおいて、FairNVTはセンシティブ属性攻撃者の精度を低下させ、人口均衡（demographic-parity）と等化されたオッズ（equalized-odds）の指標を改善し、高いタスク性能を維持する。