ドメインに応じた層選択によってビジョン・言語モデルにおけるプルーニング・レジームを理解する

要旨: Transformerベースの視覚言語モデル（VLM）には大きな深さの冗長性が含まれていますが、特定のデコーダ層を除去することの効果は、特に知覚と複数ステップの推論の間に密な結合が必要とされる領域において、いまだ十分に理解されていません。本研究では、領域に応じた活性化の類似度という観点から、構造化デコーダ層プルーニングを検討し、それぞれの層が数学入力と非数学入力に対して表現をどれほど強く変換するかを測定します。これにより、単純な数学対応（math-aware）、非数学対応（non-math-aware）、および混合（mixed）のランキング基準が得られ、対象領域内で入力と出力の活性化が最も変化しない層を特定できます。2つの最先端VLMと、幅広い数学および一般的なマルチモーダルのベンチマークにおいて、我々は一貫した3つのレジーム構造を発見します。すなわち、プルーニング予算が低い場合は、どの層が除去されるかに対する性能の感度が非常に高い；中程度の予算では、構造的な損傷が蓄積するにつれて手法が収束する；高い予算では、構造の連続性が支配的となり、間隔（spacing）を意識した戦略が有利になる、というものです。領域に応じたランキングは、ランキングに敏感なレジームで最も強い安定性を示し、一方でより大きな予算では、構造に着目したベースラインと同等、あるいはそれを上回ります。これらの結果は、VLMにおいて深さが領域固有の振る舞いにどのように寄与するかをより明確にし、重要な数学的あるいは一般的な視覚言語能力を損なうことなくモデルの深さを削減するための、実用的で解釈可能なアプローチを提供します。