KARL：知識境界を意識した強化学習によりLLMのハルシネーションを抑制する
arXiv cs.LG / 2026/4/28
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LLMのハルシネーション抑制には、単に棄却（abstain）を学習するだけでなく、モデルの実際の知識境界を尊重した棄却が重要だと主張している。
- それに基づき、KARLは同一グループ内の応答統計を用いて知識境界をオンライン推定し、知識境界に配慮した報酬によって正答や適切な棄却を動的に促す。
- さらにKARLは「abstention trap」を避けるためにまず知識境界を探索し、その後“知識境界の外”での誤答を棄却へ変換する二段階の強化学習手順を提案しており、精度を損なわないとしている。
- 複数のベンチマークでの実験により、KARLは精度とハルシネーションのトレードオフを改善し、in-distribution／out-of-distributionの双方で高精度を維持しつつハルシネーションを効果的に抑制することが示されている。
