LLMの構造化出力とデータ抽出におけるリアルタイム信頼性スコアリング

要約: 現在の LLM からの構造化出力は散発的なエラーを示し、企業向け AI の取り組みがその莫大な潜在能力を実現するのを妨げています。私たちは CONSTRUCT を提示します。これは LLM の構造化出力の信頼性をリアルタイムで評価する手法であり、スコアが低い出力ほどエラーを含む可能性が高くなります。これにより、限られた人間によるレビューの帯域を最も集中させるべき場所を明らかにします。CONSTRUCT はさらに LLM 構造化出力内の各フィールドの信頼性も評価し、レビュアーが出力のどの部分が誤っているかを迅速に特定できるようにします。本手法は、ログ確率を持たないブラックボックス LLM API を含む、推論モデルや Anthropic モデルを含む任意の LLM に適用可能であり、ラベル付き訓練データやカスタムモデルのデプロイを必要とせず、多様な型を持つ多数のフィールドを含む複雑な構造化出力（ネストした JSON スキーマを含む）にも対応します。さらに、間違いだらけではない信頼できる正解値を含む初期の公開 LLM 構造化出力ベンチマークの1つを紹介します。この4データセットからなるベンチマークにおいて、CONSTRUCT は Gemini 3 や GPT-5 を含むさまざまな LLM のエラーを、他のスコアリング手法よりもはるかに高い精度・再現率で検出します。