見えない質量に注意：ソフト・ハイブリッドによるLLMのハルシネーション推定（意味のアルファベット推定）

要旨: 本論文では、ブラックボックスアクセスの下での大規模言語モデル（LLMs）に対する不確実性定量化を研究する。ここでは、各クエリにつき少数の応答しかサンプリングできない。こうした設定では、有効な意味アルファベットサイズ、すなわちサンプリングされた応答の中で表現される異なる意味の数を推定することが、下流のリスクに対する有用な代理指標となる。しかし、頻度に基づく推定器は、サンプルサイズが小さいときにまれな意味モードを過小に数えがちであり、グラフスペクトルに関する量だけでは意味の占有（occupancy）を正確に推定するよう設計されていない。そこで本問題に対処するため、我々はSHADE（Soft-Hybrid Alphabet Dynamic Estimator）を提案する。これは、一般化されたGood–Turingの被覆（coverage）と、サンプルされた応答上に構築された含意重み付きグラフから正規化ラプラシアンを作り、そのヒートカーネルのトレースを用いる、シンプルで解釈可能な推定器である。推定された被覆は、融合則（fusion rule）を適応的に決定する。すなわち、被覆が高い場合にはSHADEは2つの信号の凸結合を用い、被覆が低い場合には、欠落している、または弱く観測された意味モードを強調するためにLogSumExpによる融合を適用する。さらに、得られた濃度（cardinality）推定を、被覆調整済みの意味エントロピー指標へ変換する前に安定化するための有限サンプル補正を導入する。大サンプルの参照に対するプールされた意味アルファベットサイズ推定、およびQAの誤り検出に関する実験では、SHADEが最もサンプル数が制限された状況で最大の改善を達成し、サンプル数が増えるにつれて性能差は縮小することが示される。これらの結果は、ブラックボックス不確実性定量化が厳しいサンプリング予算のもとで動作しなければならない場合、ハイブリッドな意味占有推定が特に有益であることを示唆している。