要旨: 既存の動的データ剪定（pruning）手法は、多くの場合、ランキング基準としてサンプルごとの損失を用いるため、ノイズのあるラベル設定ではうまく機能しません。その結果、損失値が大きいことによりノイズサンプルを誤って保持してしまい、著しい性能低下につながります。これに対処するため、我々はAlignPruneを提案します。AlignPruneは、ラベルノイズ下での動的剪定の信頼性を高めることを目的としたノイズ耐性のモジュールです。具体的に、AlignPruneは損失軌跡（loss-trajectory）に基づく基準であるDynamic Alignment Score（DAS）を導入し、ノイズサンプルのより正確な同定を可能にすることで、剪定の有効性を向上させます。シンプルでありながら効果的なプラグ・アンド・プレイ型のモジュールとして、AlignPruneはモデル構造や学習パイプラインを変更することなく、最先端の動的剪定フレームワークへシームレスに統合できます。さらに、これらを一貫して上回る性能を発揮します。多様なノイズの種類および剪定比率にわたって、広く用いられている5つのベンチマークで大規模な実験を行った結果、AlignPruneの有効性が確認され、最先端のベースラインに対して最大6.3\%の精度向上を達成しました。本研究の結果は、ノイズのあるデータ下での剪定に対する汎用的な解決策を提供するものであり、現実のシナリオにおける学習のさらなる探求を後押しします。コードは以下で公開しています: https://github.com/leonqin430/AlignPrune.
損失値の先へ：損失軌跡アラインメントによる頑健な動的プルーニング
arXiv cs.CV / 2026/4/9
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 既存の動的データプルーニング手法の多くは、サンプルごとの損失に基づいて順位付けを行うが、ノイズラベルの例（高損失のノイズサンプル）を価値のあるものとして誤って特定し、モデル精度を損なうことがある。
- 本論文では、ラベルノイズ下でのプルーニングを改善する、プラグアンドプレイ型モジュール AlignPrune を提案する。損失の軌跡に基づく判定基準である Dynamic Alignment Score（DAS）を用いる。
- AlignPrune は、単一点の損失値に頼るのではなく、学習中に損失がどのように変化するかに合わせて整合させることで、より信頼性の高いノイズサンプルの同定を狙う。
- 5つのベンチマーク、複数のノイズタイプ、さまざまなプルーニング率に対する実験で一貫した改善が示され、最先端の動的プルーニング基準に対して精度が最大 6.3% 向上した。
- 著者らは、AlignPrune がモデルアーキテクチャや学習パイプラインを変更することなく、既存のプルーニング枠組みに統合できると報告しており、導入やさらなる研究のためのコードも提供する。
