トークンレベルの温度スケーリングによる言語モデルの質問応答におけるセマンティック不確実性の定量化の改善

要旨: 校正（Calibration）は信頼できる意味的な不確実性定量化の中核であるにもかかわらず、先行研究の多くは校正ではなく識別（discrimination）に大きく焦点を当ててきました。校正と識別は不確実性の異なる側面を捉えるため、識別だけに注目すると不完全な全体像になります。本研究では、このギャップを埋めるために、幅広い信頼度指標の集合に対して両方の側面を体系的に評価します。現在のアプローチ、特に固定温度ヒューリスティックは、体系的に誤校正であり、かつ識別力の低い意味的信頼度分布を生み出すことを示します。さらに、単一のスカラー温度を最適化すること—我々が適切な帰納バイアスを提供すると論じる—は、驚くほど単純でありながら効果的な解決策であることを実証します。徹底的な評価により、温度スケーリングは意味的な校正、識別、ならびに下流のエントロピーを一貫して改善し、質問応答タスクにおいて、ヒューリスティックのベースラインと、より表現力のあるトークン単位の再校正手法の両方を上回ることが確認されました。