スパースだが単純にはならない：Vision Transformers のマルチレベル解釈可能性分析

要旨: 疎なニューラルネットワークは、密なモデルよりも解釈可能性が高いとされることが多く、重みのスパース性が言語モデルにおいてコンパクトな回路を生み出すことができるという知見に動機づけられている。しかし、構造的スパース性自体が意味解釈性の向上につながるのかは依然として不明である。本研究では、Wandaで剪定された DeiT-III B/16 モデルを用いて、視覚トランスフォーマーにおける重みのスパース性と解釈性の関係を系統的に評価する。解釈性を総合的に評価するために、\textbf{IMPACT}、4つの補完的なレベル（ニューロン、層表現、タスク回路、モデルレベルのアトリビューション）にわたって解釈性を評価するマルチレベルフレームワークを導入します。層表現は BatchTopK スパースオートエンコーダーを用いて分析され、回路は学習可能なノードマスキングによって抽出され、説明は挿入および削除の指標を用いたトランスフォーマーアトリビューションで評価される。我々の結果は明確な構造的効果を示すが、解釈可能性の向上は限定的である。疎なモデルは密なモデルより約 2.5\times 少ないエッジを持つ回路を生成するが、アクティブなノードの割合は同程度かそれ以上であり、剪定は単純な機能モジュールを分離するのではなく、計算を再配分していることを示している。これらの観察と一致して、疎なモデルはニューロンレベルの選択性、SAE特徴の解釈性、またはアトリビューションの忠実度において体系的な改善を示さない。これらの知見は、構造的スパース性だけでは、より解釈しやすいビジョンモデルを安定的に生み出すとは言えないことを示唆しており、回路のコンパクトさを超えて解釈性を評価する評価フレームワークの重要性を浮き彫りにしている。