合成的な視覚言語理解のための推論時における構造的推論

Abstract

画像-テキスト検索では優れた性能を発揮するビジョン言語モデル（VLMs）も、構成的推論においては一貫して失敗し続けています。具体的には、同じ単語を含むキャプションでも、関係構造が異なるものを区別できません。そこで本稿では、4種類の構造的に多様なVLM、すなわち CLIP、BLIP、LLaVA、Qwen3-VL-8B-Thinking を、素の条件とシーングラフ拡張を施した条件のもとで、Winoground ベンチマーク上で評価・拡張する統一的な枠組みを提示します。依存関係ベースの TextSceneGraphParser（spaCy）を導入し、主語-関係-目的語のトリプルを抽出します。さらに、最適な二部マッチングを用いる Graph Asymmetry Scorer により、構造的な関係の事前知識を注入します。キャプションのアブレーション実験（主語-目的語のマスキングおよび入れ替え）により、Qwen3-VL-8B-Thinking がグループスコア 62.75 を達成し、エンコーダベースの全モデルを大きく上回ることを示します。また、提案するマルチターン SG フィルタリング戦略により、さらに 66.0 まで引き上げられ、先行するオープンソースの最先端を上回ります。能力拡張におけるトレードオフを分析すると、SG 拡張はすでに能力の高いモデルには有益である一方、より弱いベースラインに対しては、無視できる、あるいは負の利得しかもたらさないことが分かります。コード: https://github.com/amartyacodes/Inference-Time-Structural-Reasoning-for-Compositional-Vision-Language-Understanding