ベイズ情報理論に基づくデータ帰属（Data Attribution）へのアプローチ
arXiv cs.LG / 2026/4/7
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、訓練データ帰属（Training Data Attribution: TDA）をベイズ情報理論として定式化し、データから取り除いたときに生じるエントロピー／情報損失に基づいて訓練サブセットをスコアリングすることを提案する。
- この基準は、ラベルノイズを主として反映するのではなく、例が予測の不確実性をどのように解消するかに基づいてクレジット（寄与）を帰属すると主張する。
- 現代のニューラルネットワークに対してスケーラブルにするため、接線特徴（tangent features）から構築したガウス過程サロゲートにより情報損失を近似し、サブセットのスコアリングを、単一例の場合の古典的な影響（influence）スコアと結び付ける。
- 大規模な検索設定（例：ベクトルデータベース）に対しては、よりスケーラブルな帰属を支えるために、分散補正付きの情報利得（information-gain）目的関数を導入する。
- 実験では、反実仮想に対する感度、真のデータ検索、コアセット選択において競争力のある結果が報告されており、本手法は、理論に基づく考え方と実運用上の要請をつなぐブリッジとして位置付けられる。
