360{}を考える：深さを超えてMLLMの幅中心の推論能力を評価する

概要: 本論文では、推論の「幅（reasoning width）」に明確に焦点を当てる、MLLMの推論能力を評価するための、全体論的（holistic）マルチモーダル・ベンチマークを提示します。これは、より一般的に研究されてきた推論の「深さ（reasoning depth）」を補完する次元です。具体的に、推論の深さは、各ステップが次のステップへと厳密かつ緊密に結び付けられている、長い鎖状の逐次推論を遂行するモデルの能力を測ります。推論の幅は、モデルが幅広い試行錯誤の探索や、多制約の最適化を行う能力により焦点が当たりがちです。すなわち、モデルは多数の可能な推論経路を体系的に（しかも並列化された形で）たどり、見込みのない分岐を枝刈りするために多様な制約を適用し、効率的な反復やバックトラッキングのための妥当な解の到達経路を特定しなければなりません。これを実現するために、異種の領域にまたがる1200件超の高品質なマルチモーダル事例を慎重に厳選し、推論の幅と深さを共同で定量化する、きめ細かなツリー・オブ・ソート（tree-of-thought）評価プロトコルを提案します。本研究では、難易度ティア、質問タイプ、要求されるスキルにわたって、12の主要なモデルファミリ（30を超える高度なMLLM）を評価します。結果は、現在のモデルが一般的または常識的なVQAタスクでは強い性能を示す一方で、真の洞察に基づく推論を行うために、深い逐次的な思考の鎖と、幅広い探索を組み合わせることでは依然として困難があることを示しています。最後に、特徴的な失敗パターンを分析し、より深いだけでなくより幅広い推論も行えるMLLMを構築するための可能な方向性を提示します。