微分を攪乱する：不透明な機械学習予測器をモデル非依存で評価するためのダブルワイルド・リフィッティング

要旨: 本研究では、凸損失の下での経験的リスク最小化（ERM）に対する過剰リスク評価の問題を扱う。基になる関数クラスの大域的構造に依存することなく、訓練アルゴリズムへのブラックボックスアクセスと単一のデータセットのみを仮定することで、ワイルド・リフィッティング（wild refitting）のアイデアを活用すれば、「ワイルド・オプティミズム（wild optimism）」と呼ばれる手法によって過剰リスクを上界できることを示す。まず、微分（導関数）に対して注意深く選んだスケーリングによって確率的に摂動を加えることで、人工的に修正した疑似アウトカムの2つの集合を生成する。次に、これらの疑似ラベル付きデータセットを用いてブラックボックス手続きを2回リフィットし、2つのワイルド予測器を得る。そして固定設計の設定の下で、効率的な過剰リスク上界を導出する。基になる関数クラスの複雑さに関する事前知識を要求しないため、本手法は本質的にモデルフリーであり、理論的評価において従来の学習理論が仮説クラスの極端な複雑さゆえに不可能になり得る、現代的な不透明な深層ニューラルネットワークや生成モデルに対して大きな可能性を持つ。