決めないタイミングを学ぶ：AIの法的判断における「事実の思い込み」を克服するためのフレームワーク

要旨: AIシステムにおけるよく知られた制限の1つに、思い込み（presumptuousness）があります。これは、情報が不足している可能性があるにもかかわらず、AIシステムが自信に満ちた回答を提示してしまう傾向です。この課題は、特に法的アプリケーションにおいて深刻です。法曹関係者である弁護士、裁判官、行政官の中核的な業務は、証拠が結論に到達するのに十分かどうかを判断することだからです。私たちは、この問題を、重要な状況である失業保険の裁定（unemployment insurance adjudication）において研究します。この領域ではAIシステムの急速な導入が進んでおり、追加の事実調査（fact-finding）が、毎年何百万人もの申請者に影響を与えるシステムにとって最も重大なボトルネックとなっています。第一に、コロラド州労働・雇用局（Colorado Department of Labor and Employment）との共同により、公式の学習資料およびガイダンスへの稀少なアクセスを確保し、情報の完全性を体系的に変化させる新しいベンチマークを設計します。第二に、主要なAIプラットフォーム4つを評価し、標準的なRAGベースのアプローチでは、情報が不足している場合の平均精度がわずか15%にとどまることを示します。第三に、高度なプロンピング手法は、結論の出ないケースにおける精度を改善する一方で、過剰に補正して、明確なケースでさえ判断を保留してしまいます。第四に、いかなる判断も行う前に不足している情報を明示的に特定することを求める、構造化された枠組みを導入します（SPEC, Structured Prompting for Evidence Checklists）。SPECは全体で89%の精度を達成し、また証拠が不十分である場合には適切に判断を先送りします。これは、法務AIにおける思い込みが体系的なものである一方で、対処可能であること、そして、意思決定が十分な証拠を待たねばならない場面で、人間の判断を置き換えるのではなく確実に支援するシステムへ向けては、そのための対応が必要なステップであることを示しています。