Super Neurons を用いたカテゴリ型 VQA のショートカット

要旨: Sparse Attention Vectors (SAVs) は、教師ありファインチューニングや低ランク適応による性能向上のための優れたトレーニング不要の代替手段として現れている。SAVs の核となるのは、関心のあるタスクに対していくつかの正確なアテンションヘッドを選択し、それらを分類器として用いることで、モデルの予測に依存しない。これと同様の趣旨で、VLM の生の活性値をスカラー値の形で直接検査することは、多様な視覚的に基づく下流タスクで正確な分類器を得るのに十分であることを見出した。アテンションベクトルからスカラー活性へ焦点を移すことで、正確なパラメータの探索空間が大幅に拡張され、第一生成トークンからすぐにより識別性の高いニューロンを見つけることができる。こうした活性を「スーパー・ニューロン（SNs）」と呼ぶ。この検査設定では、大規模言語モデルの浅い層に十分な SNs が現れ、モデルの第一層から第一生成トークンで極端な早期退出を可能にすることが分かった。元のネットワークと比較して、SNs は分類性能を堅牢に改善しつつ、最大で 5.10x の速度アップを実現する。