FairTree：バイアス・分散分解による機械学習モデルのサブグループ公正性監査

Abstract

機械学習モデルの評価は通常、損失関数に基づく性能指標に主として依存しており、関連するサブグループにおける性能の変化を見落とすおそれがあります。SliceFinder や SliceLine のような監査ツールが、このようなグループを検出するために提案されてきましたが、多くの場合、連続共変量に対して直接的に対処できないといった概念的な欠点があります。本論文では、心理測定における不変性検定から適応した新しいアルゴリズム FairTree を導入します。SliceFinder および関連アルゴリズムとは異なり、FairTree は離散化なしで、連続・カテゴリ（名義）・順序（オーディナル）特徴を直接的に扱います。さらに、性能格差を体系的バイアスと分散に分解し、アルゴリズム性能の変化を分類できるようにします。本研究では、アルゴリズムの 2 つのバリエーションを提案し評価します。1つは概念的に SliceFinder により近い置換（パーミュテーション）ベースのアプローチで、もう 1 つは揺らぎ（フラクチュエーション）検定です。SliceLine との直接比較を含むシミュレーション研究により、両アプローチが満足できる偽陽性率を持つ一方で、揺らぎアプローチは相対的に高い検出力を持つことを示します。さらに、この方法を UCI Adult Census データセットに適用し、具体的に示します。提案するアルゴリズムは、比較的小規模なデータであっても、多様な応用領域において機械学習モデルの性能および公平性の側面を統計的に評価するための柔軟な枠組みを提供します。