アクティベーション・パッチを用いた因果寄与推定

要旨： Vision Transformers (ViTs) に対するアトリビューション手法は、モデルの予測に影響を与える画像領域を特定することを目指しますが、忠実で局所化されたアトリビューションを生成することは依然として難しいです。既存の勾配ベースおよび摂動ベースの手法は、個々の画像パッチに関連する内部表現の因果的寄与を分離することにしばしば失敗します。クラスに関連する証拠は、層を横断するパッチ・トークン間の相互作用を通じて形成されるのが主要な課題であり、入力レベルの摂動はパッチの重要性を適切に代理できない場合がある。モデルが実際に使用する内部証拠を再現できないことがあるからである。 我々は、CAAP（Activation Patching を介した因果的アトリビューション）を提案します。これは、学習済みマスクや合成的な摂動パターンを用いる代わりに、内部活性に直接介入することによって、個々の画像パッチがViTの予測に寄与する程度を推定します。 各パッチについて、CAAPは対応する元画像の活性を中間の層範囲にわたって中立なターゲット文脈に挿入し、得られたターゲットクラスのスコアをアトリビューション信号として用います。 得られたアトリビューションマップは、パッチに関連する内部表現の因果効果がモデルの予測に与える影響を反映します。 この因果的介入は、初期の表現形成後にクラスに関連する証拠を捉えることでパッチの影響を原理的に測定しますが、空間的特異性を低下させる可能性のある後段層の全体的な混合を避けます。 複数の ViT バックボーンと標準的な評価指標において、CAAPは既存の手法を著しく上回り、より忠実で局所化されたアトリビューションを生成します。