深層ニューラルネットワーク最適化のための進化に着想を得たサンプル競争

Abstract

従来のディープネットワークの学習では、一般に、サンプル間に存在する異質な競争関係を明示的にモデル化することなく、概ね一様な学習パラダイムのもとで全てのサンプルを最適化します。このように単純化し過ぎた扱いは、クラス不均衡によるバイアス、難しいサンプルの学習不足、ノイズのあるサンプルを誤って強化してしまうことなど、いくつかのよく知られた問題を引き起こし得ます。本研究では、 \textit{Natural Selection}（NS）を提案します。これは進化に着想を得た新しい最適化手法であり、深層ネットワークの学習に競争的相互作用を明示的に取り込みます。事前に定義されたヒューリスティックや静的な基準に主として依存する従来のサンプル再重み付け戦略とは異なり、NSは、グループ内の文脈で各サンプルの競争状態を推定し、それを用いて学習への寄与を適応的に調整します。具体的には、NSはまず複数のサンプルを合成画像として組み立て、モデル推論のためにそれを元の入力サイズへ再スケーリングします。得られた予測に基づき、構築したグループ内での相対的な競争の変動を特徴づけるための各サンプルの自然選択スコアを計算します。これらのスコアを用いてサンプルごとの損失を動的に再重み付けし、最適化プロセスに競争主導の明示的なメカニズムを導入します。このようにして、NSは一様なサンプルの扱いを超えるためのシンプルかつ効果的な手段を提供し、より適応的でバランスの取れたモデル最適化を可能にします。4つの画像分類タスクにまたがる12の公開データセットで行った大規模な実験により、提案手法の有効性が示されました。さらにNSは、多様なネットワークアーキテクチャと互換性があり、タスク固有の仮定に依存しないため、強い汎用性と実用上の可能性を示しています。コードは公開される予定です。