「忠実なのは何に対して？」忠実度ベースの説明の限界について
arXiv stat.ML / 2026/4/21
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、説明可能AIにおける忠実度ベースの評価は誤解を招き得ると主張しており、それは忠実度がデータ生成の信号への整合ではなく、学習済みニューラルネットの予測への一致を測るためだと述べています。
- 回帰ネットワークの入出力挙動がどれだけ線形にデコード可能かを定量化する診断指標として、線形性スコア（λ(f)）を提案しています。
- 合成データと実データの回帰データセットの両方で、サロゲートがニューラルネットに対して高い忠実度を達成しても、ニューラルネットが単純なベースラインと比べて持つ予測上の改善を再現できないことを示しています。
- 複数のケースでは、高忠実度のサロゲートが、データに直接学習させた素朴な線形ベースラインよりもパフォーマンスが低いことがあります。
- 著者らは、モデル挙動の説明が必ずしもタスクに関連するデータ構造の説明にならないため、予測性能を判断する目的で忠実度ベースの説明を用いることには限界があると結論づけています。
