機械アンラーニングの信頼性あるテストに向けて

概要: 機械学習のコンポーネントは、レコメンドやコードアシスタントから臨床意思決定支援まで、AIを注入したソフトウェアシステムの中心的な存在になりつつあります。規制やガバナンスの枠組みが、配備済みモデルから機微データを削除することをますます求める中で、機械アンラーニング（unlearning）は、完全な再学習の実用的な代替として現れています。しかし、アンラーニングにはソフトウェア品質保証の課題があります。現実的な配備制約や不完全なオラクルのもとで、どのようにしてモデルが対象化された情報に依存していないことをテストできるのでしょうか。本論文は、アンラーニングのテスティングを、第一級のソフトウェア工学問題として位置づけます。実用的なアンラーニングテストは、(i) プロキシおよび媒介された影響経路に対する十分なカバレッジを提供し、(ii) 漏えいがどこに残っているかを局所化するデバッグ可能な診断を備え、(iii) クエリ予算のもとで費用対効果の高い回帰（リグレッション）型の実行を行い、(iv) API経由で配備されたモデルに対してブラックボックスとして適用可能である必要があると主張します。本論文では、因果・経路中心の視点に基づく因果ファジング（causal fuzzing）を概説し、予算付きの介入を生成して残留する直接効果および間接効果を推定し、実行可能な「漏えいレポート」を作成します。試作結果は、標準的な帰属（アトリビューション）チェックが、プロキシ経路による残留的な影響、取消し（キャンセル）効果、サブグループによるマスキングのために見落としうることを示し、アンラーニングテスティングにおける有望な方向性として因果テスティングを動機づけます。