ローカルからグローバルへ、そしてメカニスティックへ：iERFを中心とした視覚モデル解釈の統一フレームワーク

Abstract

現代の視覚モデルは目覚ましい精度を達成していますが、証拠がどこから生まれるのか、モデルが何をエンコードしているのか、そして内部計算がその証拠をどのように組み立てるのかを説明することは、いまだ断片的です。私たちは、単一の分析単位である点ごとの特徴ベクトル（PFV）と、それに対応するインスタンス固有の有効受容野（iERF）を軸に、局所的・大域的・機構的解釈可能性を統一する、iERF中心の枠組みを提案します。局所側では、共有比分解（SRD）により、各PFVを共有比を通じて上流のPFVの混合として表現し、iERFを伝播させてクラス識別的なサリエンシーマップを構築します。SRDは、高解像度で、活性に忠実な説明を提供し、標的操作やノイズに対して頑健であり、一般的な非線形性に対して活性非依存のままです。大域的な見通しとしては、iERFを意味ラベルとして利用し、抽象的な潜在ベクトルを検証可能なピクセルレベルの証拠に結び付ける概念アンカー付き特徴説明（CAFE）を導入します。CAFEにより、非局在化したスパースオートエンコーダ（SAE）の潜在変数--特に、初期の自己注意が遠距離の文脈を混ぜ合わせるTransformerにおいて--という課題に取り組みます。表現が深さによってどのように構成されるのかに答えるために、層間概念グラフと層間概念帰属（ICAT）を提案します。これは、層のペアを分離しつつ概念から概念への影響を定量化します。層間への挿入・削除のプロトコルにより、積分勾配（Integrated Gradients）が最も忠実な具現化であることを特定します。実験的に、ResNet50、VGG16、およびViTにおいて、私たちの枠組みは忠実度と頑健性の両面でベースラインを上回り、分散したSAE特徴をうまく解釈し、正しく分類された事例、誤分類された事例、敵対的事例のいずれにおいても支配的な概念ルートを明らかにします。iERFに基づくことで、私たちの手法はピクセルから概念、そして決定へと至る一貫した、証拠に裏付けられたマップを提供します。