きめ細かな視覚的痕跡を明らかにする：マルチモーダルSTEM課題におけるマルチモーダル・インタリーブ推論チェーンの評価

概要: マルチモーダル大規模言語モデル（MLLMs）は有望な推論能力を示しているものの、専門領域における性能評価は依然として難しい課題です。STEM推論は、強く検証可能なフィードバックを提供するため、特に貴重な試験台ですが、既存のベンチマークでは、モダリティの冗長性によって単一モダリティの近道が許されることが多く、さらに最終回答の正確さに主に焦点が当てられているため、推論プロセス自体が見落とされています。この課題に対処するため、我々はStepSTEMを提案します。StepSTEMは、数学、物理、化学、生物、工学にまたがる283問から成る大学院レベルのベンチマークであり、MLLMにおける異モーダル推論をきめ細かく評価することを目的としています。StepSTEMは、テキスト入力と視覚入力の間の厳格な補完性を強制する、厳密なキュレーションのパイプラインによって構築されています。さらに、テキストのみのチェーン・オブ・ソート（chain-of-thought）と、画像とテキストが交互に現れる異モーダル推論の双方に対して、一般的なステップ単位の評価フレームワークも提案します。このフレームワークでは、動的計画法を用いて、予測された推論ステップを複数の参照解と整合させます。幅広い種類のモデルに対する実験の結果、現在のMLLMは依然としてテキストによる推論に大きく依存しており、Gemini 3.1 Pro でも Claude Opus 4.6 でも達成率はわずか38.29%にとどまることが示されました。これらの結果は、本物の異モーダルSTEM推論に向けた大きな余地を浮き彫りにし、StepSTEMをマルチモーダル推論をきめ細かく評価するためのベンチマークとして位置付けます。ソースコードは https://github.com/lll-hhh/STEPSTEM で利用可能です。