LayerTracer：任意の大規模言語モデル（LLM）アーキテクチャに対応する、タスク粒子と脆弱な層の共同解析フレームワーク

arXiv cs.CL / 2026/4/23

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文では、標準的なTransformer以外の多様なLLMアーキテクチャにも適用できる、アーキテクチャ非依存のエンドツーエンド解析フレームワーク「LayerTracer」を提案します。
LayerTracerは、各層の隠れ状態を抽出し、それを語彙の確率分布に対応付けることで、タスクの開始点となる層と、最も脆弱な層を同時に特定します。
「タスク粒子」は、目的トークンの確率が初めて有意に上昇する層として定義され、タスク有効な層のローカライズを可能にします。
「脆弱な層」は、マスク摂動前後の出力分布のJensen–Shannon（JS）ダイバージェンスが最大となる層として定義され、攪乱に対する感度を定量化します。
異なるモデル規模での実験では、タスク粒子はパラメータ数にかかわらず主に深い層に現れ、さらに大規模モデルほど階層的なロバスト性が強いことが示され、ハイブリッド・アーキテクチャ設計と最適化に向けた指針を与えます。