AIに欠けている知識レイヤー：安定した人間-AI推論のためのフレームワーク

要旨: 大規模言語モデルは、医療、法律、金融、工学、政府などの意思決定領域にますます統合されつつあります。しかし、それらが共有する重大な制限があります。それは、内部の推論が逸れている場合でも、流暢な出力を生成してしまうことです。自信に満ちた回答は、不確実性、推測、または不整合を隠し得て、言い回しを少し変えるだけで異なる結論につながることがあります。これにより、LLMは有用なアシスタントになり得る一方で、高いリスクを伴う状況では信頼できる協働相手にはなりにくいのです。
人間にも同様の弱点があり、多くの場合、流暢さを信頼性と取り違えます。モデルが滑らかに応答すると、モデルと利用者の双方が同時に逸れている場合でも、利用者はそれを信頼しがちです。本論文は、人間とAIの推論を安定化させることに関する5本の研究シリーズのうち最初のものです。このシリーズは、二層アプローチを提案します。第II〜IV部では、不確実性の手がかり、対立の可視化、監査可能な推論の履歴といった、人間側のメカニズムを導入します。一方で第V部では、不安定性を検出し、それに応じて生成を調整するモデル側のエピステミック・コントロール・ループ（ECL）を開発します。
これらの層は、使用時点での信号対雑音を高めることで、ガバナンスのための欠けた運用上の基盤を形成します。相互作用を安定化することで、強制が適用される前に、不確実性やドリフトが可視化され、より正確な能力（ケイパビリティ）に関するガバナンスを可能にします。これは、EU AI ActやISO/IEC 42001を含む、ますます高まるコンプライアンスに関する期待と整合します。すなわち、実際の使用条件の下で推論プロセスを追跡可能にするからです。
中心的な主張は、流暢さは信頼性ではないということです。人間側とモデル側の双方の推論を安定化する構造がなければ、AIは最も重要な場面で信頼されたり、ガバナンスされたりすることはできません。