言語モデル出力分布におけるテールリスクの推定

Abstract

言語モデルはますます高い能力を持つようになり、人口規模で迅速に導入されつつあります。その結果、これらのモデルの安全性はますます重大なリスクを伴うものとなっています。幸いなことに、アラインメントの進歩によって、有害なモデル出力の可能性は大幅に低減されました。しかし、モデルが1日に数十億回もクエリされる状況では、まれな最悪ケースの挙動であっても必ず発生します。現在の安全性評価は、有害な出力を生み出す入力の分布を捉えることに重点を置いています。これらの評価は、モデルの確率的性質および末端（テール）出力の挙動を無視しています。このテールリスクを測定するために、任意の入力クエリに対して有害な出力が起こる確率を効率的に推定する方法を提案します。標的モデルから単純な総当たり（brute-force）でサンプリングするのではなく（有害な出力がまれである可能性があるため）、標的モデルの「危険な（unsafe）」バージョンを作成することで重要度サンプリング（importance sampling）を実運用します。これらの危険なバージョンにより、有害な出力がより起こりやすくなるため、サンプル効率よく推定できます。誤用およびミスアラインメントを測定するベンチマークでは、これらの推定値は、10〜20倍少ないサンプル数を用いた総当たりモンテカルロ推定と一致します。たとえば、わずか500サンプルで、10^-4オーダーの有害な出力の確率を推定できます。さらに、これらの有害性推定は、モデルの入力に対する摂動への感度を明らかにし、デプロイ（配備）リスクを予測できることも見出しました。私たちの研究は、稀な事象の正確な推定が安全性評価において重要であり、かつ実現可能であることを示しています。コードは https://github.com/rangell/LMTailRisk で公開されています