MI-Pruner：効率的なMLLM向けクロスモーダル相互情報量ガイドのトークン削減手法

Abstract

マルチモーダル大規模言語モデル（MLLM）では、視覚情報はテキストに比べて比較的疎です。その結果、効率的な推論のための視覚プルーニングに関する研究が登場しています。現在のアプローチでは一般に、視覚エンコーダまたはLLMデコーダにおける注意スコアに基づいてトークンの重要度を測定し、注意スコアが高い視覚トークンを選択して、その他をプルーニングします。本論文では、このような機構に依存しない、より別のそしてより外科的なアプローチを追究します。機構固有のシグナルに頼る代わりに、相互作用の前段階で、視覚特徴とテキスト特徴そのものの間の相互情報量（Mutual Information: MI）を直接計算します。これにより、特徴レベルでのモーダル間依存を明示的に測定できるようになります。提案するMI-Prunerはシンプルで効率的かつ非侵襲的であり、内部の注意マップへのアクセスやアーキテクチャの変更を必要としません。実験結果は、提案手法が最小限のレイテンシで、従来の注意ベースのプルーニング手法を上回ることを示しています。