QUBO最適化によるニューラルネットワークのプルーニング

Abstract

ニューラルネットワークのプルーニングは組合せ最適化問題として定式化できるが、既存の多くの手法はフィルタ間の複雑な相互作用を無視する貪欲ヒューリスティックに依存している。二次無制約2値最適化（Quadratic Unconstrained Binary Optimization: QUBO）のような形式的な最適化手法は原理的な代替手段を提供するものの、これまで L1 ノルムのような指標に基づく単純化しすぎた目的関数の定式化のために十分な性能を発揮できていない。 本研究では、ヒューリスティックによる重要度推定と大域的な組合せ最適化を橋渡しする統一的なハイブリッド QUBO フレームワークを提案する。提案手法の定式化では、線形項に勾配を考慮した感度メトリクス、すなわち一次テイラー近似と二次フィッシャー情報を組み込み、二次項にはデータ駆動の活性化類似度を用いる。これにより、QUBO の目的関数が、個々のフィルタの関連性とフィルタ間の機能的冗長性を同時に捉えることを可能にする。さらに、最適化の地形（ランドスケープ）を歪めることなく、目標とする疎度を厳密に満たすための動的なキャパシティ駆動探索を導入する。最後に、2 段階のパイプラインとして、Tensor-Train（TT）Refinement ステージを用いる。これは勾配フリーの最適化器であり、QUBO から得た解を真の評価指標に対して直接微調整する。 SIDD の画像デノイズデータセットでの実験により、提案するハイブリッド QUBO は、貪欲なテイラープルーニングおよび従来の L1 ベース QUBO の両方を大きく上回ることが示され、適切な組合せスケールでは TT Refinement がさらに一貫した向上をもたらす。これは、ロバストでスケーラブルかつ解釈可能なニューラルネットワーク圧縮に向けた、ハイブリッドな組合せ定式化の可能性を示唆する。