要旨:
複数の圧縮手法を組み合わせた場合、適用順序は重要になるのだろうか？
剪定と量子化などの複数の手法を組み合わせることで、より高い効率を実現する強力な戦略として、結合モデル圧縮が登場してきている。結合モデル圧縮における中心的で十分には探究されていない要因の一つは、圧縮順序、すなわち圧縮パイプライン内のさまざまな手法の順序である。ほとんどの先行研究は、技術間の直交性を仮定して問題を回避するか、または極めて制約されたケースでのみ検討している。その結果、モデル性能を形作る圧縮順序のより広い役割は依然として十分に理解されていない。本論文では、見過ごされてきた圧縮順序の問題に取り組み、理論的分析と経験的分析の両方を提供する。圧縮順序の最適化問題を定式化し、Progressive Intensity Hypothesis（漸進的強度仮説）を導入する。これは、より弱い摂動がより強い摂動に先行すべきであるとする仮説である。基盤となる性能ギャップが大きいほど、ある順序の相対的な利得が大きくなることを示す理論的保証を提供する。言語モデルと視覚モデルの両方での大規模な実験によりこの仮説を検証し、マルチステージ圧縮や混合精度量子化のようなより広い設定にも適用可能であることを示す。
返却形式: {"translated": "翻訳されたHTML"}
