アテンションが集め、MLPが構成する: VideoViTにおける動作-結果回路の因果分析

本論文は、分類タスクのために訓練された動画モデルが、最終的な結果に影響を与えない可能性のある微妙で隠れた意味情報をどのように表現するかを探求します。これは、信頼できるAIモデルが直面する主要な課題です。説明可能性と解釈可能性を備えたAI手法、特に機械論的解釈可能性技術を用いて、動作の結果を表現する内部回路を、事前訓練済みの動画ビジョン・トランスフォーマーに対して逆設計し、「Success vs Failure」信号が明確な増幅カスケードを介して計算されることを明らかにします。層0から低レベルの差異が観察される一方で、結果の抽象的・意味的表現は、層5から層11へと逐次増幅されます。因果分析は、主にアクティベーションパッチングを用い、アブレーション結果を補助として支持されることで、労働分担の明確な分離を示します：アテンションヘッドは「証拠収集者」として機能し、部分信号回復に必要な低レベル情報を提供し、一方でMLPブロックは堅牢な「概念作曲家」として機能し、それぞれが「成功」信号を生成する主要な推進力です。モデル内部におけるこの分散的で冗長な回路は、単純なアブレーションに対する回復力を説明しており、人間の行動結果を処理する際の基本的な計算パターンを示しています。重要なのは、単純な分類のためだけに訓練されたモデル内にも、複雑な結果を表現するこの高度な回路が存在することで、モデルが明示的なタスクを超えた「隠れた知識」の形態を発展させる可能性を浮き彫りにします。これは、展開を想定した真に説明可能で信頼できるAIシステムを構築するためには機械論的監視が必要であることを強調します。