最終回答を超えて：透明なマルチモーダル推論評価のための CRYSTAL ベンチマーク

要約: 私たちは **CRYSTAL** (*__C__lear __R__easoning via __Y__ielded __S__teps, __T__raceability and __L__ogic*)、検証可能な中間ステップを通じたマルチモーダル推論を評価する6,372のインスタンスを持つ診断ベンチマークを紹介します。私たちは2つの補完的な指標を提案します。*Match F1* はセマンティック類似性マッチングによってステップレベルの適合率と再現率を評価し、*Ordered Match F1* はさらに乱れた推論チェーンを罰します。参照は Delphi に着想を得たパイプラインを通じて構築され、4つの独立した MLLMs が軌道を生成し、セマンティッククラスタリングで集約され、人間の品質ゲートによって検証されます。ベンチマーク構築時に使用されなかった商用フロンティア系システムを含む20のMLLMの評価は、正確さには見えない体系的な失敗を明らかにします：普遍的なチェリーピッキング（適合率が再現率を大きく上回る）、非単調なスケーリングのトレードオフ、そして正しい順序で一致したステップの60%を超えて保持できない乱雑な推論。評価を超えて、私たちは **Causal Process Reward (CPR)**、回答の正確さとステップレベルの整列を結ぶ乗法的報酬、そして **CPR-Curriculum** を提案します。CPR-Curriculum は訓練中に推論の難易度を段階的に高め、GRPO によって +32% の Match F1 を達成します。加法的報酬戦略が失敗する場合には、手動のステップ注釈なしで推論を改善します。