レビュアーの再検討:グラフ強化型LLMによるECアピール審査

arXiv cs.CL / 2026/3/23

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、検証可能な行動に根拠を置く推論を定着させる Evidence-Action-Factor-Decision (EAFD) スキーマを提案し、電子商取引のアピール審査におけるハルシネーションを低減する。
  • 対立を意識したグラフ推論フレームワークを提示し、Maker-Checker の履歴ケースから EAFD グラフを構築し、それらを検索可能な知識ベースに集約し、先例を用いたトップダウンの演繹推論を可能にする。
  • このフレームワークは、未実行の検証アクションを特定し、証拠が不十分な場合にはターゲットを絞った情報要求を生成する「追加情報要求(RMI)」機能を追加する。
  • 実証結果は、LLM のみのベースラインが人間専門家との整合性を 70.8%、RMI を用いたアクションモデリングで 87.5% に向上、知識グラフ検索を追加することでオフラインで 95.8%、本番環境で 96.3% を達成することを示す。
  • 本研究は、電子商取引における大規模な出品者アピール審査において強力な実世界での有効性を示している。

要旨:階層的な審査ワークフローでは、二次審査者(チェッカー)が一次審査者(メーカー)の判断を訂正することで、初期判断がなぜ失敗したのかをエンコードする貴重な修正信号を生成します。
しかし、これらの信号から学ぶことは情報の非対称性によって妨げられます。修正は多くの場合、メーカーや自動化システムには利用できない検証アクションに依存します。
この課題に対処するため、推論を検証可能な操作に基づかせる制約として、明示的なアクションモデリングを導入します。
Evidence-Action-Factor-Decision(EAFD)スキーマを提案します。これは、運用上の根拠づけを通じて幻覚を防ぎ、明示的な対立モデリングによる修正信号からの学習を可能にする、裁定推論の最小表現です。
このスキーマを基に、対立を認識するグラフ推論フレームワークを開発します。具体的には:(1)過去のケースからメーカーとチェッカーの対立を捉えたEAFDグラフを構築し、(2)それらを検索可能な知識ベースに集約し、(3)前例から検証済みの解決パスを投影して新しいケースに対してトップダウンの演繹推論を行います。
特筆すべき機能は、Request More Information(RMI)アウトカムです。証拠が不十分な場合、システムは未実行の検証アクションを正確に特定し、的確な情報要求を生成します。
大規模なeコマースの出品者による異議申し立て審査で、このフレームワークを評価します。
標準のLLMのみのベースラインは人間の専門家との一致率がわずか70.8%にとどまりますが、RMIを組み込んだアクションモデリングにより一致率は87.5%に改善します。
これを検索ベースの知識グラフを付加すると、オフラインでの最高のパフォーマンスは95.8%を達成します。
オンライン展開後、フレームワークは堅牢な性能を維持し、生産環境で96.3%の一致率を達成しており、その現実世界での有効性を示しています。