公平性指標が一致しないとき：機械学習における人口統計学的公平性評価の信頼性を検証する

要旨: 機械学習システムにおける公平性の評価は、生体認証、ヘルスケアの意思決定、自動化されたリスク評価などの高リスクなアプリケーションにおいて中核的な関心事となっている。既存のアプローチは通常、公平性指標を少数に限って用い、グループの分割ごとのモデル挙動を評価するが、その際に、これらの指標が一貫して信頼できる結論をもたらすと暗黙に仮定している。しかし、異なる公平性指標はモデル性能の異なる統計的性質を捉えるため、同じシステムに適用した場合に相反する評価が生じうる。本研究では、機械学習モデルにおける人口統計的バイアスの一貫性を、体系的なマルチ指標分析によって調査することで、公平性評価の一貫性を検討する。統制された実験環境として顔認識を用い、誤り率の格差や性能に基づく指標など、一般に用いられる複数の公平性指標の範囲で、複数のグループ分割にわたってモデル性能を評価する。結果として、公平性の評価は、指標の選択に応じて大きく変動し、その結果としてモデルのバイアスに関して矛盾した結論が導かれうることを示す。この現象を定量化するために、公平性不一致指数（Fairness Disagreement Index: FDI）を導入する。これは、公平性指標間の不一致の程度を捉えることを目的とした指標である。さらに、不一致は閾値やモデルの構成にわたって高いままであることを示す。これらの知見は、現在の公平性評価実務における重大な限界を明らかにし、信頼できるバイアス評価には単一指標の報告だけでは不十分であることを示唆する。