象徴的グラウンディングが抽象的ビジュアル推論における表現ボトルネックを明らかにする

Abstract

視覚--言語モデル（VLM）は、Bongard問題のような抽象的な視覚推論ベンチマークでしばしば失敗し、主なボトルネックが推論にあるのか表現にあるのかという疑問が生じます。本研究では、抽象概念学習を対象とした合成ベンチマークであるBongard-LOGOについて、そこから得られる記号入力をもとに与えられる大規模言語モデル（LLM）と、原画像に対するエンドツーエンドのVLMを比較することで、この点を調べます。実用的なマルチモーダル・アーキテクチャとしてではなく、記号入力を診断用プローブとして用いることで、私たちの \emph{Componential--Grammatical（C--G）} パラダイムは、Bongard-LOGOを、LOGOスタイルのアクションプログラムまたは構造化された記述に基づく記号推論タスクとして組み替えます。LLMは大きく一貫した改善を達成し、フリーフォーム問題で中〜90%台の精度に到達します。一方で、強力な視覚ベースラインは、同一のタスク定義のもとでは偶然に近い性能にとどまります。入力形式、明示的な概念プロンプト、および最小限の視覚的グラウンディングに関するアブレーションは、これらの要因が「ピクセルから記号的構造への移行」と比べて重要性がはるかに低いことを示します。これらの結果は、抽象的な視覚推論における主要なボトルネックが表現にあることを特定し、記号入力が制御された診断的な上限として機能し得ることを示します。