Adaptive Data Dropout：深層ニューラルネットワークにおける自己調整学習に向けて

要旨: 深層ニューラルネットワークは通常、学習の各エポックにわたって大規模データセットを一様にサンプリングすることで訓練されますが、学習の過程を通じて全てのサンプルが同等に寄与するわけではないという証拠があります。近年の研究では、学習データの量を段階的に減らすことで効率と汎化性能を向上できることが示されていますが、既存の手法は固定されたスケジュールに依存しており、訓練中に適応しません。本研究では、Adaptive Data Dropout（適応的データ・ドロップアウト）という単純な枠組みを提案します。この枠組みは、性能に関するフィードバックに基づいて動的に訓練データの部分集合を調整します。自己調整型学習に着想を得て、私たちの手法ではデータ選択を適応プロセスとして扱い、訓練精度の変化に応じてデータ曝露を増減させます。さらに、ドロップアウトのスケジュールをオンラインで調整する軽量な確率的更新メカニズムを導入し、時間の経過に伴ってモデルが探索と定着（consolidation）のバランスを取れるようにします。標準的な画像分類ベンチマークに関する実験では、提案手法が静的なデータ・ドロップアウト戦略と比較して競争力のある精度を維持しつつ、有効な訓練ステップ数を削減できることが示されました。これらの結果は、効率的かつ頑健な訓練に向けた有望な方向として、適応的なデータ選択を浮き彫りにします。コードを公開します。