RADIANT-LLM：安全性に重要な原子力工学における信頼できる意思決定支援のためのエージェント型RAGフレームワーク

Abstract

原子力工学における信頼できる意思決定支援には、追跡可能で領域に根ざした知識の検索が必要である。しかし、安全性およびリスク分析のワークフローは、専門的な原子力領域で事前学習済みの大規模言語モデル（LLM）を利用すると、文書が断片化していることや、ハルシネーション（もっともらしい誤り）が生じることによって妨げられ続けている。本論文では、これらの課題に対処するため、RADIANT-LLM（Retrival-Augumented、LLMを用いた原子力技術のための領域インテリジェント・エージェント）を提案する。これは、原子力の安全保障・保障措置（security, safeguards）および安全（safety）用途向けに設計されたマルチモーダル検索拡張生成（RAG）フレームワークである。提案フレームワークは、ローカルファーストかつモデル非依存のアーキテクチャを採用し、マルチモーダルな文書取り込みパイプラインと、構造化されメタデータに富んだ知識ベースを組み合わせることで、技術文書からページ単位および図単位での検索を可能にする。エージェント層は領域固有のツールを調整し、根拠付きの引用（citation）により回答を強制するとともに、プロバナンス（出所情報）追跡を行う。また、人手を介した検証をサポートすることで、ハルシネーションのリスクを低減する。 本フレームワークを厳密に評価するために、Context Precision（CoP）、Hallucination Rate（HR）、Visual Recall（ViR）を含む、領域に配慮した評価指標の一式を開発し、適用する。これらは、使用済燃料貯蔵施設（Used Nuclear Fuel Storage Facility）の設計ガイダンスから専門家がキュレーションしたベンチマークに基づいている。知識ベースのサイズを変えた場合でも、CoPとViRは85--98\%の範囲に収まり、ハルシネーション率は汎用的なデプロイで観測されるものよりも大幅に低い。同一のクエリを、RAG層なしで商用LLMプラットフォームに投入すると、ハルシネーションと引用エラーが顕著に増加する。これらの結果は、原子力工学のワークフローが要求する事実の正確性、透明性、監査可能性を達成するには、ローカルで制御されたマルチモーダルRAGフレームワークであって、領域固有の検索とプロバナンスの強制を備えていることが必要であることを示している。