シームレスな欺瞞：大規模言語モデルは知識を隠すのに長けている

要旨: 言語モデル（LM）は有害な知識を獲得する可能性があり、監査を受けているときにはこれらのトピックについて無知を装うこともある。LMにおける欺瞞関連の行動パターンの最近の発見に触発され、LMが知識を積極的に隠している時を検出する分類器を訓練することを目指す。小さなモデルでの初期的な発見は、分類器が人間の評価者よりも隠匿を検出するのにより信頼性が高いことを示しており、勾配ベースの隠匿はプロンプトベースの方法より識別しやすいことを示している。しかし、これまでの研究とは異なり、分類器は未知のモデルアーキテクチャや隠れた知識のトピックに対して信頼性の高い一般化を示さないことが分かった。最も懸念すべき点は、隠匿に関連する識別可能な痕跡がモデルの規模が大きくなるにつれて薄れていき、700億パラメータを超えるいかなるモデルにおいても分類器の性能はランダムと同等以下にとどまることだ。私たちの結果は、LMのブラックボックスのみを対象とする監査の重要な制限を露呈し、含んでいる知識を積極的に隠しているモデルを検出するための堅牢な方法を開発する必要性を強調している。