推論の代償：チェーン・オブ・思考は視覚言語モデルの過信を誘発する

要旨：視覚と言語モデル（VLMs）は、信頼性の高い不確実性定量化（UQ）が予測精度と同等に重要である高リスクな設定で、ますます展開されています。チェーン・オブ・ソート（CoT）プロンプトによる拡張推論または推論訓練済みモデルは、現代のVLMパイプラインで広く普及していますが、UQの信頼性に対するその影響は未だ十分には理解されていません。推論は、タスクの正確性を向上させる場合でも、多くの不確実性推定の品質を一貫して低下させることを示しています。暗黙の回答条件付けを主要な機構として特定します：推論の痕跡が最終的な回答が生成される前に結論へ収束すると、トークンの確率は、正しさについての不確実性よりもむしろモデル自身の推論痕跡との一貫性を反映するようになっていきます。結果として、モデルは自分の回答に過度に自信を持つようになります。対照的に、合意ベースの一貫性は堅牢であり、推論を有効にしたVLMの不確実性推定においてしばしば改善するため、実用的な選択肢となります。