FinReflectKG -- HalluBench: 金融質問応答システム向けGraphRAG幻覚（ハルシネーション）ベンチマーク

概要: 組織がコンプライアンス、リスク評価、意思決定支援のために、AI を活用した質問応答システムを財務情報システムへますます統合していくにつれて、AI が生成した出力の事実としての正確性を保証することが、重要な工学課題となっている。現在の知識グラフ（KG）拡張型QAシステムには、「幻覚（hallucination）」――信頼性と利用者の信頼を損なう、事実に反する出力を検出するための体系的な仕組みが欠けている。我々は、SEC 10-K の提出書類における KG 拡張型の財務 QA に対して、幻覚検出手法を評価するためのベンチマーク FinBench-QA-Hallucination を提案する。このデータセットには 300 ページから 755 の注釈付き例が含まれており、保守的な証拠の連結（evidence-linkage）プロトコルによって基底性（groundedness）をラベル付けしている。このプロトコルでは、テキストのチャンクと抽出されたリレーショナルな三つ組の双方からの支持が必要である。我々は、6 つの検出アプローチ――LLM ジャッジ、微調整した分類器、自然言語推論（NLI）モデル、スパン検出器、埋め込みベースの手法――を、2 つの条件（KG 三つ組あり／なし）で評価する。その結果、LLM ベースのジャッジと埋め込みアプローチは、クリーンな条件下で最も高い性能を達成する（F1: 0.82-0.86）。しかし、多くの手法はノイズのある三つ組が導入されると大きく劣化し、マシューズ相関係数（MCC）が 44-84 パーセント低下する一方で、埋め込みベースの手法は相対的に頑健で、劣化はわずか 9 パーセントにとどまる。統計的検定（Cochran の Q と McNemar）により、有意な性能差が確認される（p < 0.001）。我々の発見は、現在の KG 拡張型システムの脆弱性を浮き彫りにし、幻覚が規制違反や誤った意思決定につながり得る、信頼性の高い財務情報システムを構築するための示唆を提供する。このベンチマークは、医療、法務、政府といった他のハイステークス領域にまで及ぶ情報システム設計において、AI の信頼性評価を統合するための枠組みも提供する。