深層ニューラルネットワークに向けた認証付きアンラーニング

arXiv stat.ML / 2026/4/23

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、凸モデルでうまく機能する「認証付きアンラーニング」手法と、非凸であるDNN（深層ニューラルネットワーク）の難しい状況とのギャップを扱います。
非凸の目的関数に対して、認証付きアンラーニングをDNNに拡張するためのいくつかのシンプルな手法を提案しています。
効率性を高めるために、逆ヘッセ行列の近似を用いた計算手法を導入しており、認証保証を損なわないことを主張しています。
認証の扱いを、収束しない学習や、異なる時点でユーザーからアンラーニング要求が来ることを想定した逐次アンラーニングにも拡張しています。
3つの実データセットでの実験により、提案手法の有効性と、DNNにおける認証付きアンラーニングの利点が示されています。

要旨: 機械アンラーニングの分野においては、認証付きアンラーニングが、効率が高く理論的な保証が強いことから、凸な機械学習モデルに対して広く研究されてきました。しかし、強い非凸性を特徴とする深層ニューラルネットワーク（DNNs）への適用は、依然として課題を残しています。認証付きアンラーニングとDNNsの間にあるギャップを埋めるために、本稿では、認証付きアンラーニング手法を非凸な目的関数へ拡張するためのいくつかの単純な手法を提案します。時間計算量を削減するために、認証保証を損なうことなく、逆ヘッセ近似に基づく効率的な計算方法を開発します。さらに、現実の利用者が異なる時点でアンラーニング要求を送信しうることを踏まえ、非収束学習および逐次アンラーニングに対しても、認証の議論を拡張します。3つの実世界データセットに対する大規模な実験により、本手法の有効性と、DNNsにおける認証付きアンラーニングの利点が示されます。