説明可能なAIには形式化が必要

Abstract

「説明可能な人工知能」（XAI）の分野は、一見すると、機械学習システムの意思決定が人間に理解可能であることへの欲求に応えるもののように見える。しかし、現状のXAI自体には精査が必要である。広く知られた手法は、MLモデル、その学習データ、あるいはテスト入力に関する関連する問いに対して、確実に答えられない。というのも、それらは、予測対象とは独立した入力特徴に対して系統的に重要性を帰属させてしまうからである。これにより、データやモデルを診断・修正するためのXAIの有用性、科学的発見のための有用性、介入目標を特定するための有用性が制限される。この根本的な理由は、現在のXAI手法が、明確に定義された問題に十分に取り組んでおらず、説明の正しさに関するターゲット化された基準に対して評価されていないことにある。研究者は、解決したい問題を形式的に定義し、それに応じて手法を設計すべきである。そうすれば、説明の正しさに関する多様な、ユースケース依存の概念と、XAIアルゴリズムを検証するために用いることのできる説明性能の客観的指標が導かれるだろう。