GRADE: 勾配サブスペース・ダイナミクスによってLLMの知識ギャップを探る
arXiv cs.CL / 2026/4/6
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LLMが質問に正しく答えるのに必要な内部知識が足りているかを判定する課題に対し、隠れ状態の活性だけでは不十分になり得る点（文体や長さなどの非有用特徴が活性化される等）を指摘しています。
- GRADE（Gradient Dynamics for knowledge gap detection）は、隠れ状態サブスペースに対する勾配のクロスレイヤ順位比を用いて知識ギャップを定量化し、勾配が必要な知識更新の推定量として働くという動機づけを提示しています。
- 6つのベンチマークでの検証により、GRADEが有効であり入力擾乱に対して頑健であることを示しています。
- 長文回答に対するケーススタディでは、勾配の連鎖が知識ギャップを解釈可能な説明として生成できる可能性が示されています。
