UVLM: 再現性のあるマルチモーダルベンチマークのためのユニバーサルビジョン-ランゲージモデルローダー

要旨: Vision-Language Models (VLMs、視覚言語モデル) は画像理解タスクにおいて強力なツールとして台頭してきましたが、実用的な展開はモデルファミリ間の顕著なアーキテクチャ的多様性によって依然として阻まれています。
この論文は、UVLM (Universal Vision-Language Model Loader) を紹介します。Google Colab ベースのフレームワークで、カスタム画像分析タスクに対して複数の VLM アーキテクチャを読み込み、設定、ベンチマークを統一的なインタフェースで提供します。
UVLM は現在、二つの主要なモデルファミリをサポートしています -- LLaVA-NeXT と Qwen2.5-VL -- これらは視覚エンコード、トークナイズ、デコード戦略の点で本質的に異なります。
このフレームワークは、これらの違いを単一の推論関数の背後に抽象化し、研究者が同一のプロンプトと評価プロトコルを用いてモデルを比較できるようにします。
主な機能には、4つの応答タイプ（数値、カテゴリ、ブール、テキスト）をサポートするマルチタスクプロンプトビルダー、繰り返し推論の多数決に基づくコンセンサス検証機構、最大1,500トークンまでの柔軟なトークン予算により、プロンプトエンジニアリングを通じてカスタム推論戦略を設計できる機能、そしてベンチマーク用のチェーン・オブ・ソート思考参照モードを内蔵しています。
UVLM は再現性、アクセシビリティ、拡張性を念頭に設計されており、コンシューマーグレードの GPU リソースを用いた Google Colab 上で自由にデプロイできます。
さらに、本論文は、推論の複雑性が増すタスクに対して、120 枚のストリートビュー画像のコーパスを用いた異なる VLM の初めてのベンチマークを提示します。