小型ビジョン・言語モデルは長時間動画理解における賢い圧縮器である

要旨: マルチモーダル大規模言語モデル（MLLM）を1時間にも及ぶ長時間動画に適応することは、コンテキスト制限によってボトルネック化されている。密な視覚ストリームはトークン予算を飽和させ、「途中で見失う」現象をさらに悪化させる。疎サンプリングや一様プーリングのような既存のヒューリスティックは、決定的な瞬間を捨てたり、無関係な背景に帯域を浪費したりすることで、無自覚に忠実度を犠牲にしてしまう。我々は、下流の理解のために長い動画を効率的に圧縮する、クエリ対応型フレームワーク Tempo を提案する。Tempo は、局所的な時間圧縮器として Small Vision-Language Model（SVLM）を活用し、トークン削減を単一のフォワードパスでコンパクトで意図に整合した表現を生成するための、早期のクロスモーダル蒸留プロセスとして位置付ける。因果律を壊さずに厳密な予算を満たすために、Adaptive Token Allocation（ATA）を導入する。SVLM のゼロショットの関連性事前知識と意味的なフロントローディングを活用し、ATA は訓練不要の O(1) 動的ルータとして機能する。クエリにとって重要なセグメントへ密な帯域を割り当てつつ、冗長性は最小限の時間アンカーに圧縮することで、全体のストーリーラインを維持する。大規模な実験により、6B アーキテクチャが、攻撃的な動的圧縮（0.5-16 tokens/frame）下で最先端の性能を達成することを示す。極端に長い LVBench（4101s）では、Tempo は厳格な 8K の視覚予算のもとで 52.3 を得て、GPT-4o と Gemini 1.5 Pro を上回る。2048 フレームにスケールすると 53.7 に到達する。決定的に重要なのは、Tempo が理論上の限界を大幅に下回る水準で 1時間の動画を実質的に圧縮する点であり、真の長編動画理解は、文脈ウィンドウを貪欲に水増しすることではなく、意図駆動の効率性に依存することを証明している。