SimDiff：類似性と差分による深さプルーニング

要旨: 深度プルーニングは、冗長な層を特定して除去することで、大規模言語モデル（LLM）のデプロイ効率を改善します。この特定プロセスにおける広く受け入れられた標準は、コサイン距離を用いて層間の類似度を測定することです。しかし我々は、この1次元のヒューリスティックのみに依拠する手法では、異なるアーキテクチャ間で予測不能な性能が現れたり、さらには壊滅的な崩壊すら起こり得ることを見出しました。 この問題に対処するために、我々はSimDiffという新しい層重要度の基準を提案します。この基準は、2つの直交する観点から層を同時に評価します。すなわち、表現の類似性と変換の差分です。差分は2つの異なる指標によって定量化されます。外れ値に敏感で、決定的な修正を行う層を特定するMSSDと、層の平均的な寄与を頑健に測定するMASDです。パラメータ数0.5Bから13Bまでの複数のモデルに対する大規模な実験により、SimDiffが様々なプルーニング率において、最先端のベースラインを大幅に上回ることを示します。特に、我々の手法は25%のプルーニング率でLLaMA2-7Bの性能の91%以上を維持し、LLaMA3.1-8Bにおいて12層をプルーニングする際には最大1.49倍の推論速度向上を達成します。また、最小限の微調整でプルーニング済みモデルを効果的に復元できることも示します。