大規模推論モデルにおける不確実性を定量化し理解する

概要: 大規模推論モデル（LRM）は、複雑な推論において最近著しい改善を示してきました。不確実性を定量化することは重要ですが、LRMにおける生成の不確実性を測るための従来手法は、多くの場合、推論−回答生成に対して有限サンプルの保証を提供できないため不十分です。適合予測（CP）は、分布に依存せずモデルに非依存な手法として際立っており、統計的に厳密な不確実性集合を構築します。しかし、既存のCP手法は、推論トレースと最終回答の論理的なつながりを無視しています。さらに、先行研究は、妥当な推論を導く特定の学習要因を見落としがちなため、LRMにおける不確実性被覆の起源を解釈できていません。とりわけ、不確実性を定量化する際に、推論の質と回答の正しさを切り分けることは難しく、一方で計算効率の高い説明手法に対する理論的な保証を同時に確立する必要があります。これらの課題に対処するために、まず、推論−回答構造における不確実性を統計的保証つきで定量化する新しい手法を提案します。続いて、Shapley値を用いた統一的な例から手順への説明フレームワークを開発し、保証を維持するために十分であることが証明できる、学習例の部分集合とその主要な推論ステップを特定します。また、提案手法について理論的な分析も行います。困難な推論データセットに対する大規模な実験により、提案手法の有効性が検証されています。