機能的帰属（Functional Attribution）によるメカニスティック異常検知

Abstract

ニューラルネットワークの出力の正しさは、正解ラベル（ground truth）を使って検証できることが多いですが、その出力が通常の内部機構によって生成されたのか、それとも異常な内部機構によって生成されたのかを、確実に判定することはできません。機構ベースの異常検出（MAD）はこれらのケースを検出することを目指していますが、既存手法は、難読化（obfuscation）に脆弱な潜在空間解析に依存するか、あるいは特定のアーキテクチャやモダリティに特化しているかのいずれかです。私たちはMADを機能的帰属（functional attribution）の問題として再定式化します。すなわち、信頼できる集合からのサンプルが、モデルの出力をどの程度まで説明できるのかを問うのです。そして、帰属が失敗することが異常な挙動のシグナルになります。私たちはこれを、影響関数（influence functions）を用いて実装し、パラメータ空間におけるサンプリングによって、テストサンプルと小さな参照集合との間の機能的な結合（functional coupling）を測定します。複数の異常タイプおよびモダリティにわたって評価します。視覚モデルにおけるバックドアに関しては、本手法はBackdoorBenchで最先端の検出性能を達成し、7つの攻撃と4つのデータセットにわたる平均防御有効性評価（DER）が0.93（次点0.83）です。LLMに対しても同様に、明示的に難読化されたモデルを含むいくつかのバックドア種別において、ベースラインより大きな改善を達成します。バックドアにとどまらず、本手法は敵対的サンプルや分布外（out-of-distribution）サンプルを検出でき、さらに単一モデル内に存在する複数の異常メカニズムを区別することができます。これらの結果は、機能的帰属を、配備されたモデルにおける異常挙動を検出するための、モダリティに依存しない有効な手段として確立するものです。