現代のLLMにおける早期終了デコーディングの逓減する効果

要旨: 大規模言語モデル（LLM）の推論において、early-exit（早期終了）とは、予測が十分に確信できるようになった時点で中間層で計算を停止し、それによりレイテンシとコストを削減することを指します。しかし、近年のLLMは、層の冗長性を減らす改良された事前学習レシピやアーキテクチャを採用しており、early-exitの機会が制限される可能性があります。私たちは、現代的なLLMにおける層ごとのearly-exitを再評価し、学習中に中間表現がどのように変化していくかを分析します。early-exitに対するモデル固有の適性を定量化するための指標を導入し、研究者が異なるモデルやワークロードに対してearly-exitの潜在的な利点を探るためのベンチマークを提案します。私たちの結果は、より新しいモデル世代においてearly-exitの有効性が低下する傾向を示しています。さらに、密なトランスフォーマは、Mixture-of-ExpertsおよびState Space Modelsよりも一般にearly-exitの潜在力が大きいことを見出します。加えて、より大規模なモデル、特に200億パラメータ超のモデル、ならびに専門的なチューニングを行わないベース事前学習モデルは、より高いearly-exitの潜在力を示す傾向があります。