表形式の質問応答における較正された信頼度推定

要旨: 大規模言語モデル（LLM）は表形式の質問応答にますます導入されているが、構造化データに対するキャリブレーションはほとんど研究されていない。本論文は、5つの最先端LLMと2つの表形式QAベンチマークにまたがって、5つの信頼度推定手法を初めて体系的に比較することを提示する。全てのモデルは深刻に過信頼であり（滑らかなECE 0.35-0.64、テキストQAで報告される 0.10-0.15 に対して）、両方のベンチマークおよび4つの完全にカバーされた全モデルにわたって一貫した「自己評価 vs 摂動」という二分法が再現される。自己評価手法（言語化された評価、P(True)）はAUROC 0.42-0.76を達成するのに対し、摂動手法（意味エントロピー、自貫性、および我々の Multi-Format Agreement）はAUROC 0.78-0.86を達成する。モデルごとのペア化ブートストラップ検定では、Holm-Bonferroni補正後に帰無仮説が p<0.001 で棄却され、GPT-4o-mini に対する3シードの確認では、シードごとの標準偏差がわずか 0.006 であることが示される。本論文は Multi-Format Agreement（MFA）を提案する。これは、構造化データに固有の、損失を伴わない決定的なシリアライズの変化（Markdown、HTML、JSON、CSV）を活用して、サンプリング基準よりAPIコストを20%低く抑えつつ信頼度を推定する。MFAはECEを44-63%低減し、TableBenchでは4つの全モデルにわたって一般化可能で（平均AUROC 0.80）、さらにサンプリングと補完的に組み合わせられる。すなわち、MFA + 自貫性エンサンブルによりAUROCは0.74から0.82へと引き上げられる。第2の貢献として、構造を考慮した再キャリブレーションは、標準的な事後（post-hoc）手法に比べてAUROCを+10パーセンテージポイント改善する。