効率的な視覚推論のための Vision Verification を強化した VLM の融合

要約: 視覚と言語のモデル（VLMs）の数と多様性が高まる中、多くの研究が複数のVLMにまたがる言語ベースのアンサンブル、協調、ルーティング手法を用いてマルチモデル推論を改善することを探求しています。これに対し、我々は視覚と言語のモダリティの両方を用いた多様なモデル選択に取り組みます。私たちはVLM間の補完的な推論を捉えるためのフォーカル誤差多様性を導入し、視覚的埋め込みの不一致を測定するCKAベースのフォーカル多様性指標（CKA-focal）を提案します。候補VLMのプールから構築したアンサンブル空間上で、遺伝アルゴリズムを適用し、融合パフォーマンスに付加価値を生まない構成VLMを効果的に剪定しました。私たちは、各タスクにとって最適な組み合わせを特定するとともに、モデルプール内の各VLMの出力を融合し、異種モデルがエピステミック不確実性を動的に捉え、幻覚を緩和できることを示します。V3Fusionアプローチは、視覚と言語の推論に対して高い性能を持つ二重フォーカル多様性を組み込んだ融合予測を生成することができ、多数派の合意がない場合や多数のVLMが誤った予測をする場合にも適用可能です。広範な実験により、V3Fusionを4つの人気VLMベンチマーク（A-OKVQA、MMMU、MMMU-Pro、OCR-VQA）で検証しました。結果は、V3FusionがMMMUで最高性能を示すVLMを8.09%の精度向上、MMMU-Proでは4.87%の精度向上で上回ることを示しています。生成タスクでは、A-OKVQAとOCR-VQAの両方で上位2位のVLMであるIntern-VL2-8bおよびQwen2.5-VL-7bを上回ります。私たちのコードとデータセットは https://github.com/sftekin/v3fusion で公開されています。