反事実的公平性のための効率的で解釈可能なトランスフォーマー

Abstract

金融や保険といったハイステークスかつ高度に規制された領域において、機械学習モデルへの依存が高まるにつれ、予測性能、解釈可能性、そして規制上の公平性要件の間に、緊張関係が生まれています。これらの状況では、モデルは信頼できる予測を提供するだけでなく、透明な意思決定の根拠を示し、厳格な公平性要件を満たすことも求められます。注意機構（attention）を用いるトランスフォーマーは、さまざまな言語タスクで示されているように、複雑なデータ関係をモデリングするための強力な仕組みを提供しますが、注意機構だけでは、公平性を意識した手法を組み合わせたとしても、反実仮想的に（counterfactually）公平な予測は保証されません。これらの限界に対処するために、表形式データ向けに設計した「特徴相関トランスフォーマー（FCorrTransformer）」を提案します。本設計では、注意行列がペア（対）の特徴依存関係として直接的な統計的解釈を許すため、解釈可能性と効率の両方が向上します。この構造を活用し、注意（attention）レベルにおいて、センシティブ特徴のグループ不変な公正表現（fair representations）を強制する枠組みである「反実仮想的注意正則化（Counterfactual Attention Regularization: CAR）」を導入します。これにより、明示的な因果の仮定に依存せずに反実仮想的に公平な予測を促進します。不均衡な分類および回帰のベンチマークに対する実証評価により、FCorrTransformer と CAR の組み合わせは、標準的なトランスフォーマー系ベースラインと比べて、競争力のある予測性能を維持しつつ、強い反実仮想的公平性を達成し、モデルの複雑さを大幅に低減することが示されます。全体として、本研究は公平性理論と機械学習モデルの間に存在する重要なギャップを埋め、規制に配慮した領域における実用的な責任あるAIのための枠組みを提供します。