参照ガイド付き忘却
arXiv cs.LG / 2026/3/13
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、参照ガイド付き忘却（ReGUn）という、特定のデータの影響を訓練済みモデルから除去しつつ、全体的な有用性を維持する枠組みを紹介します。
- 既存の近似忘却法はしばしば、損失の最大化やランダムラベリングといった性能低下のヒューリスティクスに依存します。これらの信号は条件づけが不十分で不安定な最適化を招き、モデルの一般化を損なうことがあります。
- ReGUnは、忘却データと未見データの間の分布を分布的に識別不能にすることを目指すため、分離されたホールドアウトデータセットを蒸留のための原理的でクラス条件付きの参照として活用します。
- 様々なモデルアーキテクチャ、自然画像データセット、忘却割合の変動にもかかわらず、ReGUnは標準的なベースラインを一貫して上回り、忘却と有用性のトレードオフを改善します。
機械学習における忘却は、訓練済みモデルから特定データの影響を取り除くと同時に、一般的な有用性を維持することを目的としています。既存の近似忘却法はしばしば、損失の最大化やランダムラベリングといった性能低下のヒューリスティクスに依存します。しかし、これらの信号は条件づけが不十分で不安定な最適化を招き、モデルの一般化性能を損なう可能性があります。私たちは、忘却はむしろ分布的識別不能性を優先すべきであり、忘却データに対するモデルの挙動を真の未見データに対する挙動と一致させるべきだと考えます。これに動機づけられ、参照ガイド付き忘却（ReGUn）と呼ぶ、分離されたホールドアウトデータセットを活用して蒸留のための原理的かつクラス条件付きの参照を提供する枠組みを提案します。我々は、さまざまなモデルアーキテクチャ、自然画像データセット、忘却割合の変動にも関わらず、ReGUnが標準的な近似ベースラインを一貫して上回り、より優れた忘却-有用性のトレードオフを実現することを示します。
