H-Sets：画像分類器におけるセット単位の特徴相互作用をヘッセ行列ガイドで発見する

アブストラクト: 特徴量帰属（feature attribution）手法は、個々の入力特徴に重要度スコアを割り当てることで、深層ニューラルネットワークの予測を説明します。しかし、既存のほとんどの手法は周辺的（marginal）効果のみに注目しており、特徴同士の相互作用、すなわち特徴の集合がモデル出力に共同で影響する点を見落としています。このような相互作用は、画像分類タスクにおいて特に重要です。画像分類では、意味論的な意味が、単独の特徴ではなく画素間の依存関係によって生じることが多いためです。画像に対する既存の相互作用ベース手法は、粗いもの（例えばスーパーピクセルのみ）であるか、あるいは主要な解釈可能性の公理を満たせていません。本研究では、画像分類器における高次の特徴相互作用を発見し帰属するための新しい二段階フレームワークであるH-Setsを提案します。第一に、入力ヘッセ行列（input Hessians）によって局所的に相互作用しているペアを検出し、それらを再帰的に意味的に一貫した集合へと統合します。空間的なグルーピングの事前情報としてSegment Anything（SAM）からのセグメンテーションを用いますが、他のセグメンテーションに置き換えることも可能です。第二に、各集合をIDG-Visで帰属させます。IDG-Visは、画素空間上の経路に沿って方向勾配を統合し、Harsanyi配当（dividends）で集約する、統合方向勾配（Integrated Directional Gradients）の集合レベル拡張です。検出段階でヘッセ行列により追加の計算コストが生じる一方で、この狙いを定めたコストは一貫して、より疎でより忠実なサリエンシーマップ（saliency maps）をもたらします。ImageNetおよびCUBデータセット上でのVGG、ResNet、DenseNet、MobileNetモデルに対する評価により、H-Setsは既存手法と比べて、より解釈可能で忠実なサリエンシーマップを生成することが示されます。