メタ認知モニタリング・バッテリー：LLM自己モニタリングのためのドメイン横断ベンチマーク

要旨: 私たちは、Nelson と Narens（1990）のメタ認知的枠組みに基づき、LLM評価に人間の心理測定法（psychometric methodology）を適用することで、LLMにおけるモニタリング−制御の結合（monitoring-control coupling）を対象とした領域横断型の行動アッセイを提案します。このバッテリーは、6つの認知ドメイン（学習、メタ認知キャリブレーション、社会的認知、注意、遂行機能、展望的調整）にまたがる524項目から構成され、それぞれ確立された実験パラダイムに基づいています。課題 T1〜T5 はデータ収集の前に OSF に事前登録されており、T6 は探索的な拡張として追加されました。強制選択（forced-choice）の回答のたびに、Koriat と Goldsmith（1996）に基づく二重のプローブが、モデルに対して回答を「KEEP（保持）」するか「WITHDRAW（撤回）」するか、そして「BET（賭ける）」か「辞退する」かを求めます。重要な指標は撤回デルタ（withdraw delta）です。すなわち、誤答項目と正答項目との撤回率の差です。20の最先端LLM（10,480回の評価）に適用したところ、このバッテリーは Nelson-Narens のアーキテクチャと整合する3つのプロファイル、すなわち「全面的な自信（blanket confidence）」「全面的な撤回（blanket withdrawal）」「選択的な感度（selective sensitivity）」を識別します。正確さ（accuracy）の順位およびメタ認知的感度（metacognitive sensitivity）の順位は概ね逆転しています。レトロスペクティブなモニタリング（retrospective monitoring）とプロスペクティブな調整（prospective regulation）は（n=20 で 95% CI が広いため厳密性には限界があるものの）解離しているように見えます（r = .17, 95% CI wide given n=20）。具体例に基づく証拠（exemplar-based evidence）が主要な支持です。メタ認知キャリブレーションに対するスケーリングはアーキテクチャ依存です。単調減少（Qwen）、単調増加（GPT-5.4）、またはフラット（Gemma）です。行動学的知見は、独立した Type-2 SDT（signal detection theory）アプローチとも構造的に収束し、予備的なクロスメソッドの構成概念妥当性（construct validity）を提供します。すべての項目、データ、コード: https://github.com/synthiumjp/metacognitive-monitoring-battery。