要旨: エッジデバイス上で深層ニューラルネットワーク（DNNs）を運用するには、精度の損失を最小限に抑えつつ強力な圧縮が必要です。本論文では、感度スコアと単純なアーキテクチャ規則を活用し、層ごとの疎化をグローバルに導くことで、多様で高品質なプルーニング構成を生成する枠組み「Mix-and-Match Pruning」を提案します。この枠組みは、異なる層やアーキテクチャがプルーニングへの応答を異なるものにするという重要な制約に対処し、単一の戦略によるアプローチが最適ではないことを解決します。Mix-and-Matchは、正規化層は保持しつつ分類器はより強くプルーニングする、といったアーキテクチャに応じた疎化範囲を導出し、これらの範囲を体系的にサンプリングして、感度信号ごとに10の戦略（大きさ、勾配、またはその組み合わせ）を生成します。これにより、反復的なプルーニング実行を不要にしつつ、デプロイ可能な精度と疎化のトレードオフを提供します。CNNおよびVision Transformerに対する実験では、Pareto最適な結果が示され、Mix-and-Matchは標準的な単一基準のプルーニングに比べてSwin-Tinyでの精度劣化を40%低減しました。これらの知見は、既存のプルーニング指標を連携させることで、新しい基準を導入するよりも、より信頼性が高く効率的な圧縮モデルを実現できることを示しています。
Mix-and-Match Pruning：DNNのグローバルに導かれる層ごとのスパース化
arXiv cs.CV / 2026/3/24
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、エッジ環境への展開を目的として深層ニューラルネットワークを圧縮しつつ、精度の損失を最小限に抑えるための「Mix-and-Match Pruning」を提案する。これは、グローバルに導かれた層ごとのスパース化フレームワークである。
- 感度スコアリング（例：大きさ、勾配、またはその両方）と、アーキテクチャに配慮したスパース化ルールを組み合わせることで、層ごとに剪定（pruning）への応答が異なるという事実に対応する。
- Mix-and-Matchは、（例として正規化層は保持しつつ分類器をより強く剪定する、といった）アーキテクチャに配慮したスパース化の範囲を導出することで、多様で高品質な剪定構成を生成する。
- これらのスパース化範囲を体系的にサンプリングすることで、感度シグナルごとに複数の剪定戦略を作り出し、繰り返しの剪定実行を必要としない。
- CNNおよびVision Transformer（Swin-Tinyを含む）での実験により、精度とスパース性のパレート特性が改善され、標準的な単一基準の剪定と比べて、精度劣化を最大40%削減できることが示されている。
