トポロジーに配慮した大規模ビジョン・言語モデルのレイヤープルーニング

要旨: 大規模言語モデル（LLM）は、自然言語の理解や推論において強力な能力を示してきました。一方で、視覚入力を組み込む最近の拡張により、マルチモーダル情報を処理できるようになっています。これらの進展にもかかわらず、大規模視覚言語モデル（LVLMs）は大きな計算コストとメモリコストを要するため、計算資源が限られた状況での実運用が妨げられています。既存の層プルーニング手法は、通常、局所的な類似度指標や静的なプロキシ信号に依存しており、モデルの深さ方向における表現のグローバルかつ動的な変化を捉えられていません。その結果、遷移にとって重要な層が削除されてしまうことがしばしばあります。この制約に対処するために、我々はLVLM向けのトポロジーを考慮した層プルーニングの枠組みを提案します。具体的には、層ごとの隠れ状態を点群として表現し、
\textit{単体複体（simplicial complexes）} を用いてその進化をモデル化します。
\textit{ジグザグ永続ホモロジー（zigzag persistent homology）} を活用することで、層間のトポロジー的一貫性を定量化し、重要な表現遷移を保持する適応的なプルーニングを可能にします。多様なマルチモーダルベンチマークに対する大規模な実験により、提案手法が、広範な疎度（sparsity）比にわたって一貫して既存のプルーニング手法を上回ることを示します。コードは https://github.com/zpc456/TopoV で公開しています。