大規模言語モデルにおける層の冗長性を再考：キャリブレーション目的と深さプルーニングの探索

要旨: 深さプルーニングは、Transformerブロックを削除することで、大規模言語モデルの推論効率を向上させます。従来の研究は重要度基準や探索アルゴリズムに焦点を当てることが多く、しばしば層の冗長性を、事前学習済みネットワークの固有の構造的性質として扱ってきました。これに対して本研究では、モデルと評価目的の両方によって冗長性が共同で影響を受ける、
\emph{機能（functional）という観点}を採用します。これにより、普遍的なランキングだけでは十分でない可能性が示唆されます。3つのLLMファミリー、2つのキャリブレーション目的、および7つの探索アルゴリズムにまたがる実証研究の結果、異なる目的が質的に異なる冗長な層をもたらすこと、また、パープレキシティと下流タスクの精度にもとづくランキングは一貫して整合しないことを観察しました。もっとも、目的を固定した場合には、探索アルゴリズムは概ね同様の解を生成する傾向があります。全体として、本研究の結果は、探索アルゴリズムの選択よりもキャリブレーション目的のほうがより大きな影響を及ぼし得ることを示しており、目的設計へのさらなる注意が有益である可能性を示唆します。