大規模ビジョン言語モデルの効率的推論：ボトルネック、手法、そして展望

Abstract

大規模視覚言語モデル（LVLMs）は、画像や動画に対する高度な推論を可能にしますが、その推論は「視覚トークン優位性」として知られる体系的な効率の障壁によって妨げられています。このオーバーヘッドは、高解像度特徴抽出、二次的な注意スケーリング、メモリ帯域制約の間にまたがる複数のレジーム（段階）にまたがる相互作用によって生じます。本研究では、推論ライフサイクルに基づいて構造化された効率化手法の体系的なタクソノミー（分類体系）を提示します。具体的には、エンコーディング、プリフィリング、デコーディングの3段階から成ります。単独の最適化に焦点を当てた従来のレビューと異なり、エンドツーエンドのパイプラインを解析し、上流の意思決定が下流のボトルネックをどのように規定するかを明らかにします。これには、計算負荷が支配的な視覚エンコーディング、大規模コンテキストの集中的なプリフィリング、「帯域制約下でのデコーディング」における「視覚メモリ・ウォール」が含まれます。効率の地形を、情報密度の形成、長コンテキスト注意の管理、メモリ限界の克服という軸に分解することで、本研究は、個々の最適化がどのように組み合わさって、視覚的忠実度とシステム効率のトレードオフを乗り越えるのかを体系的に分析する枠組みを提供します。さらに本調査では、機能ユニット感度に基づくハイブリッド圧縮、緩和された検証を伴うモダリティ対応デコーディング、ストリーミングの連続性のための段階的な状態管理、ハードウェア・アルゴリズム共同設計によるステージ分離型の提供、という4つの将来フロンティアを、パイロット的な実証洞察に裏付けて概説します。提出されたソフトウェアには、私たちの文献リポジトリのスナップショットが含まれており、コミュニティのための「生きた資源」として維持されることを目的としています。