小規模LLMにおけるゼロショット自己の確信度推定：教師ありベースラインを学習する価値がない場合

概要: 小さな言語モデルが自らの正しさをどれほど確実に見積もれるかは、どの程度でしょうか？ この答えは、安価なローカルモデルが扱えない場合におけるローカルからクラウドへのルーティング—クエリのエスカレーション—が、教師あり学習データなしで機能し得るかどうかを決定します。推論コストが大規模言語モデル（LLM）の導入予算を支配する中で、多くのクエリを安価なローカルモデルに振り向け、難しいケースにのみ高価なクラウド呼び出しを予約することは、ますます一般的なコスト制御戦略になっています。本研究では、3つの7-8Bモデルファミリと2つのデータセット（各モデルにつきそれぞれ1,000クエリおよび500クエリ）にわたって、ゼロショットの確信度シグナルを RouteLLM のような教師ありベースラインと比較します。トークンの平均対数尤度（log-probability）は学習データを必要としませんが、イン分布（Area Under the Receiver Operating Characteristic curve（AUROC）0.650-0.714 対 0.644-0.676）では教師ありベースラインと同等、あるいはそれを上回り、さらにアウトオブディストリビューションでは大幅に上回ります（0.717-0.833 対 0.512-0.564）。これは、クエリ分布ではなくモデルの生成の性質を測定しているためです。本論文ではさらに、事前生成シグナルである「検索条件付き自己評価」を提案します。これは、類似度が高い場合に限って、検索で得られた知識を選択的に注入し、対数尤度による自己評価に比べて最大 +0.069 AUROC 向上します（同時に、対数尤度より3-10倍低い遅延で動作します）。1,000件のラベル付き例で学習した教師ありベースラインは、ゼロショットのシグナルを決して超えません。私たちは、すべてのコード、データ、実験ログを公開します。