When Sinks Help or Hurt: 大規模ビジョン言語モデルにおけるアテンション・シンクのための統一フレームワーク

Abstract

注意サンク（attention sinks）とは、過剰な注意を引き寄せるトークンとして定義されます。これらは単一モダリティのトランスフォーマでは研究されてきた一方で、大規模ビジョン・言語モデル（LVLM）におけるそれらのクロスモーダルな影響は、ほとんど未検討のままです。つまり、それらは冗長なアーティファクトなのでしょうか、それとも不可欠なグローバルな事前知識なのでしょうか。本論文はまず、視覚サンクを2つの異なるカテゴリに分類することから始めます。具体的には、視覚エンコーダから伝播するViTエマージェント・サンク（V-sinks）と、深いLLM層の内部から生じるLLMエマージェント・サンク（L-sinks）です。この新たな定義に基づく分析により、重要な性能上のトレードオフが明らかになります。すなわち、サンクはグローバルなシーンレベルの事前知識を効果的に符号化する一方で、それらが優勢になることで、局所的な知覚に必要な微細な視覚的証拠が抑制されてしまい得るのです。さらに、これらのサンクを調節したときに、下流の性能に最も大きく影響する特定の機能層も特定します。これらの知見を活用するために、本論文ではLayer-wise Sink Gating（LSG）を提案します。これは、V-sinkおよびそれ以外の視覚トークンの注意寄与を動的にスケーリングする、軽量でプラグアンドプレイ可能なモジュールです。LSGは標準的な次トークン予測によって学習され、タスク固有の教師信号を一切必要としません。また、LVLMのバックボーンは凍結したままです。多くの層において、LSGは代表的なマルチモーダル・ベンチマークで改善をもたらし、グローバルな推論と正確な局所的証拠のバランスを効果的に取ることができます。