広告

PruneFuse:重みプルーニングとネットワーク融合による効率的なデータ選択

arXiv cs.LG / 2026/3/30

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • PruneFuseは、構造化プルーニングによって情報量の高いデータ選択のための小型ネットワークを作り、学習効率を向上させる2段階の深層学習戦略である。
  • プルーニングされたモデルが最も情報量の高いサンプルを識別するために学習した後、その学習知識を元のネットワークへ再度融合し、学習全体を高速化かつ強化する。
  • 本手法は、従来のデータ選択アプローチがしばしば必要とする大きな注釈(アノテーション)負担や、高い計算コスト、スケーラビリティの制限を軽減することを目的として設計されている。
  • 複数のデータセットにまたがる実験では、PruneFuseがデータ選択に要する計算量を削減し、ベースラインよりも性能を向上させ、エンドツーエンド学習を加速することが報告されている。

広告