言語モデルのための幾何学的キャリブレーション付き縮約（Conformal Abstention）
arXiv cs.CL / 2026/5/1
📰 ニュースModels & Research
要点
- 本論文は、LLMが特定の質問に必要な知識を持たないとき、無関心・不確実性を認めずにもっともらしい（ただし幻覚の可能性がある）回答を生成してしまう問題に取り組む。
- 事後的な枠組み「Conformal Abstention（CA）」を提案し、これはconformal prediction（CP）を適応してクエリごとに回答を拒否（abstain）するかを判断する。
- CAは、参加率（abstainしない確率）と生成回答の正しさについて、有限標本での保証を提供し、回答拒否の判断にはCPで用いる非適合度スコアではなく予測信頼度を使う。
- 予測信頼度が本当の「無知」を反映するようにするため、モデル内部の表現における幾何学（表現ジオメトリ）を用いて「知識の関与度」を測るキャリブレーション手法を導入する。
- 実験では選択的回答の改善が示され、条件付き正解率は約75%に達する。
