ゼロショットの二値ビジョン言語安全分類におけるプロンプト誘導スコア分散

概要: ゼロショットの視覚言語モデル（VLM）安全性分類器から得られる単一プロンプトの最初のトークン確率は、意思決定スコアとして扱われますが、意味的に等価なプロンプトの言い換えのもとでは信頼性がないことを示します。つまり、二値ラベルを固定された出力位置に制約した場合でも、等価なプロンプトは同一サンプルに対して、安全でない確率を実質的に異なるものにし得ます。マルチモーダルの安全性ベンチマークと複数のVLMファミリーにわたって、プロンプト間の分散は、プロンプトレベルの不一致および高い誤りと強く関連しており、有用な脆弱性（フラジリティ）診断指標となります。学習なしの平均アンサンブルは、14のデータセット・モデル評価ペアすべてでNLLを改善し、学習選択された単一プロンプトのベースラインに比べて12/14でECEも改善します。また、同一プロンプトに対して適用したラベル付き温度スケーリング、Plattスケーリング、アイソトニック回帰よりも、多くのヘッドツーヘッドのNLL比較で勝ちます。ランキングの改善は、AUROCおよびAUPRCの両方で、学習選択されたベースラインに対して一貫しており、15プロンプト全体の分布に対してもAUPRCでは一貫性が保たれていますが、AUROCではやや緩和されます。平均の上にラベル付きキャリブレーションを行うと、さらに改善が得られます。ラベルが利用可能な場合には、プロンプトの平均化はキャリブレーションの代替ではなく、強力なラベルフリーの第一段階であることを示します。私たちはこれを、ゼロショットVLMの最初のトークン安全性スコアに対する信頼性ストレステストとして位置づけ、平均集約によるプロンプトファミリー評価を、標準的なラベルフリーの信頼性ベースラインとして推奨します。