学習アルゴリズムをスケッチする方法
arXiv cs.LG / 2026/4/9
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文は「データ削除問題」に取り組み、事前計算後に学習データの一部を削除した場合に、AIモデルの出力がどのように変化するかを効率的に予測することを目的としている。
- 深層学習の設定において、予測誤差εを消失させるデータ削除スキームを提案し、事前計算と予測のコストが通常の学習・推論より多項式的にしか遅くならないことを示す。
- この手法の計算量と保存コストはpoly(1/ε)でスケールし、多項式個数のモデルスケッチを保存して利用する必要がある。
- 著者らは、新しい「安定性（stability）」仮定に基づいて正しさを主張し、それが強力なAIモデルの学習と両立可能であると論じる。さらに、microGPTを用いた限定的な実験でその裏付けを与えている。
- 技術的アプローチとして、ランダムな複素方向を通じて計算される高次導関数により、算術回路を局所的にスケッチすることを導入する。具体的には、フォワードモード自動微分を活用し、コードを公開している。
