Switch-KD：視覚スイッチによる視覚言語モデルの知識蒸留

概要: Vision-Language Models（VLMs）は、視覚と語言の共同理解において目覚ましい能力を示してきましたが、その大規模さは、リソースが制約された状況での導入において重大な課題となります。知識蒸留（Knowledge Distillation; KD）は、モデルサイズやデータ要件を増やさずにモデル能力を向上させる実行可能な手段を提供し、導入をより効率的にします。しかし、VLMにKDを適用することは、モダリティ固有の教師信号によって難しくなっています。VLMにおけるマルチモーダル知識は言語空間内で融合されるものの、現在の手法では各モダリティを個別に監督しており、マルチモーダルの整合を明示的に扱いません。その結果、マルチモーダル知識の転移が一貫しなくなります。これに対処するため、共有テキスト確率空間内で視覚—言語の知識転移を統一するビジュアル・スイッチ蒸留フレームワークであるSwitch-KDを提案します。Switch-KDは2つの主要コンポーネントから構成されます：（1）Visual-Switch Distillation（視覚スイッチ蒸留）。これは、生徒の視覚出力を教師の言語経路へ切り替えて、暗黙的な視覚知識転移のためのクロスモーダルな確率的参照を構築します；および（2）Dynamic Bi-directional Logits Difference（DBiLD）損失。これは、双方向の教師信号によって教師と生徒の分布的構造を保持しつつ、有益な確率領域を適応的に整合させます。Switch-KDに導かれることで、0.5BのTinyLLaVAは3Bの教師から豊富なマルチモーダル知識を効果的に蒸留でき、アーキテクチャの変更なしに、10個のマルチモーダル評価ベンチマークで平均3.6ポイントの改善を達成します。