プライバシーは常に公正性を損なうのか？チェルノフ情報によるデータ依存のトレードオフのニューラル推定

Abstract

公平性とプライバシーは、信頼できる機械学習を支える2つの重要な柱である。これらの個別のトピックについては広範な研究がなされてきた一方で、その関係性には十分な注目が払われてこなかった。本論文では、情報理論的な尺度であるチェルノフ情報（Chernoff Information）を用いて、入力データ分布によって生じる公平性、プライバシー、精度の間の基本的なトレードオフを特徴づける。我々はまず、データの公平性に関する概念としてチェルノフ差（Chernoff Difference）を提案し、さらに公平性とプライバシーの双方を同時に解析できる、そのノイズ付き変種であるノイズ付きチェルノフ差（Noisy Chernoff Difference）を導入する。単純なガウス例を通じて、ノイズ付きチェルノフ差が、基となるデータ分布に応じて、定性的に異なる3つの振る舞いを示すことを明らかにする。合成設定を超えてこの分析を拡張するために、未知の分布に対するチェルノフ情報の最初のニューラルネットワークベース推定器であるチェルノフ情報ニューラル推定器（Chernoff Information Neural Estimator: CINE）を開発する。実データセットに対してCINEを適用し、ノイズ付きチェルノフ差を解析する。これら一連の取り組みにより、公平性とプライバシーの相互作用を、原理に基づきかつデータに依存して特徴づけることで、文献における重要なギャップを埋める。