ノイズ付きラベルを用いた学習のための変分的損失補正推論

要旨:
ラベルノイズは現実世界のデータセットで広く観測されている。深層モデルにおけるラベルノイズへの過学習の負の影響を緩和するために、有効な戦略（例えば、再重み付けや損失補正）が広く適用されており、これらは一般的にはメタラーニングの枠組みの下で学習されてきた。確率的なメタラーニングモデルがノイズに対して頑健性を示す一方で、通常は一般化性能を劣化させるモデル崩壊に陥る。本論文では、変分補正推論（Variational Rectification Inference, VRI）を提案し、損失関数の適応的な補正をアモルタイズド変分推論問題として定式化し、メタラーニングの枠組みの下でエビデンス下界（ELBO）を導出する。具体的には、VRIは、補正ベクトルを潜在変数として扱う階層ベイズとして構築し、ノイズのあるサンプルの損失を追加のランダム性正則化とともに補正できるため、ラベルノイズに対してより頑健になる。補正ベクトルの推論を実現するために、その条件付き事後分布をアモルタイズドメタネットワークで近似する。VRIに変分項を導入することにより、条件付き事後分布が正確に推定され、Diracデルタ関数へ収束するのを回避できる。これにより一般化性能が大幅に向上する。詳説されたメタネットワークと事前ネットワークは滑らかさの仮定に従い、信頼性の高い補正ベクトルの生成を可能にする。クリーンなメタデータの集合が与えられた場合、VRIは二階層最適化の枠組みの中で効率的にメタ学習できる。さらに、理論解析は、我々のアルゴリズムでメタネットワークを効率的に学習できることを保証する。包括的な比較実験と分析は、ノイズ付きラベルによる堅牢な学習の有効性を検証し、特にオープンセットノイズが存在する場合に有効であることを示す。