MARCH:LLMの幻覚を抑制するマルチエージェント強化セルフチェック

arXiv cs.CL / 2026/3/26

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文では、特にRetrieval-Augmented Generation(RAG)環境におけるLLMの幻覚(hallucination)を低減することを目的とした、マルチエージェント強化セルフチェックの枠組みMARCHを提案する。
  • 先行する「LLM-as-a-judge(LLMを判定者として用いる)」手法とは異なり、MARCHは確認バイアスに陥り得る代わりに、意図的な情報非対称性を用いる。具体的には、Checker(検証者)は、Solver(解答者)の元の出力にアクセスせずに、主張命題を根拠(エビデンス)と照合して検証する。
  • MARCHは、Proposer(提案者)を介してRAG応答を原子的で検証可能な命題へ分解し、その後Checker(検証者)が取得したエビデンスに対して各命題を個別に照合・検証する。そして、マルチエージェント強化学習(MARL)によってエージェントを学習させる。
  • 幻覚ベンチマークでの実験により、幻覚率の大幅な低減が示されており、MARCHを用いた8Bパラメータモデルがクローズドソースのモデルと競合できる結果も含まれる。
  • 著者らは、リンクされたGitHubリポジトリでコードを公開しており、MARCHをエージェントの共進化(co-evolution)を通じたLLMの「事実に基づく自己改善」を大規模に実現する手法として位置づけている。

要旨: 幻覚は、大規模言語モデル(LLM)のための重要なボトルネックであり、特に検索拡張生成(RAG)システムのような実世界のアプリケーションにおいて、それらの信頼性を損なっています。既存の幻覚検出手法は、検索された根拠に対してLLMの出力を検証するためにLLM-as-a-judge(審判としてのLLM)を用いるものの、その手法には本質的な確認バイアスが伴います。すなわち、検証者が知らず知らずのうちに、元の生成に含まれる誤りを再現してしまうのです。これに対処するため、意図的な情報の非対称性を活用して厳密な事実整合性を強制する、幻覚のためのマルチエージェント強化自己チェック(MARCH)を提案します。MARCHは、3つの専門エージェント(Solver、Proposer、Checker)による協調的なパイプラインを統括します。Solverは初期のRAG応答を生成し、Proposerはそれを主張レベルの、検証可能な原子的命題へ分解します。重要なのは、Checkerがそれらの命題を、Solverの元の出力から切り離された状態で、検索された根拠に照らして検証することです。この巧妙に設計された情報非対称性の仕組みにより、自己確認バイアスのサイクルが断ち切られます。マルチエージェント強化学習(MARL)でこのパイプラインを訓練することで、エージェントが共進化しながら事実への順守を最適化できるようになります。幻覚ベンチマークにまたがる大規模な実験により、MARCHが幻覚率を大幅に低減することが示されています。特に、MARCHを備えた8BパラメータのLLMは、強力なクローズドソースモデルと競争力のある性能を達成します。MARCHは、共進化を通じてLLMの事実に関する自己改善をスケーラブルに実現する道を拓きます。コードは https://github.com/Qwen-Applications/MARCH です。