回帰分析による信頼度キャリブレーションにおける影響の大きいN-gramの同定
arXiv cs.CL / 2026/4/8
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この論文は、言語的な不確実性の手がかりを含んでいるにもかかわらず、推論中にLLMがなぜ過信するままでいるのかを研究し、信頼度を特定のテキストパターンに結び付く回帰ターゲットとして捉える。
- 推論に関連するn-gramから信頼度を予測し、それらの関係を分析することで、著者らは複数のモデルおよびQAベンチマークにおいて過信と強く結び付く特定の言語表現を特定する。
- 同定されたキーフレーズのいくつかは、推論性能のスケーリング／改善のためにテスト時に挿入されることが知られている表現と重複しており、プロンプト上のアーティファクトと信頼度キャリブレーションの間に機構的なつながりがあることを示唆している。
- 著者らは因果性および検証テストを実施し、抽出された言語情報が信頼度と単に相関するだけでなく、実際に信頼度に影響していることを示す。
- 最後に、過信している表現を抑制しつつ性能を維持することで、信頼度キャリブレーションが達成できると結論づける。
