大規模言語モデルは内部知識とユーザーおよび文書の主張をどのように両立しているのか
arXiv cs.CL / 2026/4/27
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、RAGやチャットのような実運用で、LLMがパラメトリックな内部知識とユーザーの信念、さらに検索文書の内容という複数情報源を同時にどのようにバランスさせるべきかという安全性上の課題を扱います。
- 3つの情報源の相互作用を扱う枠組みを提案し、2つのデータセットで3つのモデル系統に属する27のLLMを評価して、ユーザーと文書の主張のどちらをより重視するかを体系的に調べます。
- 結果として、多くのモデルはユーザーの主張よりも文書の主張をより強く参照する傾向があり、ポストトレーニング後にはその傾向がさらに強まることが示されます。
- 行動分析では、多くのモデルが「印象に左右されやすく」、有益な外部情報と有害な外部情報をうまく見分けられないことが明らかになります。
- 著者らは、多様な情報源の相互作用データでファインチューニングすることで、モデルの識別能力（有益/有害の判別能力）を大きく向上できることを示します。
