深層ニューラルネットワークはいつ信頼できるのか？信頼性のある産業導入に向けた解釈可能性ガイド

要旨: 産業用の欠陥検査、自動運転、医療診断のような安全性が極めて重要な領域においてAIシステムを導入することは、その信頼性の欠如によって大きく阻まれています。検出されないまま誤った予測が1つでも行われると、壊滅的な結果につながり得ます。残念ながら、高い精度であっても、信頼できない予測を不頼性として警告するための内部的な安全策を備えない訓練済みAIシステムの出力を信頼するほかないことがしばしばあります。本研究では、二値の欠陥検出ネットワークにおける偽陰性（false negative）を検出するための、事後（post-hoc）の説明に基づく指標を提案します。私たちの知る限り、潜在的に誤りのあるネットワーク出力を能動的に特定する最初の手法です。私たちの中核となるアイデアは、クラス特異的な弁別的ヒートマップと、クラス非依存（クラス非特異）のものとの差に着目することです。両者の交差時の一致度合いを表す指標（intersection over union: IoU）の差を、信頼性スコアとして計算します。さらに、この不一致を増幅するための敵対的（adversarial）な強化手法も導入します。2つの産業用欠陥検出ベンチマークでの評価により、本手法が偽陰性を効果的に識別できることが示されました。敵対的強化を用いることで、真陰性（true negatives）とのトレードオフはあるものの、100\%の再現率を達成します。したがって本研究は、新しく信頼できる導入パラダイム、すなわち data-model-explanation-output を提唱し、従来のエンドツーエンド型システムを超えて、現実世界の応用における信頼性の高いAIのための重要な支援を提供します。