自信スコアに確信を持つ：教師あり微調整に対する自信スコアの感度を調査する

概要: 不確実性の定量化は、言語モデルに対する信頼度を測定する一連の手法です。例えば、幻覚を検出したり、不確実な予測を見直すようユーザーに注意喚起したりするのに用いることができます。有用であるためには、これらの信頼度スコアが出力の品質と相関していなければなりません。しかし近年の研究では、微調整が信頼度スコアと品質の相関に影響し得ることがわかりました。そこで本研究では、教師あり微調整（SFT）への感度を理解するために、信頼度スコアの根本的な挙動を調査します。その結果、SFTの後に、さまざまな信頼度スコアの相関が低下することを見出しました。これは、出力品質以外の要因、例えば出力が学習分布に類似していることなどによって信頼度スコアが変化することに起因し得ます。このミスコリレーション（誤った相関）に対処できないことが、下流タスクにおいて信頼度スコアの有用性をどのように低下させるかを、ケーススタディによって示します。本研究の知見は、信頼度メトリクスがテストなしにそのまま使えるわけではないことを示し、微調整に対してより頑健なメトリクスを開発する必要性を動機づけます。