LLMの欺瞞に対する嘘検出器アプローチの限界を探る

概要：大規模言語モデル（LLM）における欺瞞の機械的アプローチは、しばしば「嘘検出器」と呼ばれるもので、モデル出力の内部表現を偽と識別するよう訓練された真偽プローブのことを指します。嘘検出器アプローチは、欺瞞が嘘と同義であるという暗黙の前提を置きます。本論文はその前提に挑戦します。LLMが偽の発言を出力せずに欺くことができるか、また真偽プローブがそのような挙動を検出できないかを実験的に検証します。3つのオープンソースLLMを横断して、いくつかのモデルは、少数ショット prompting の指示の下で偽の発言を出さなくても誤解を招く非偽性を作り出すことにより、確実に欺くことが示されます。さらに、標準の真偽データセットで訓練された真偽プローブは、嘘を検出するのには欺瞞を検出する場合よりも著しく優れていることが示され、現在の機械的欺瞞検出アプローチの重大な盲点を確認しています。今後の研究は、対話的設定における非嘘を伴う欺瞞をプローブ訓練に組み込み、二階層的信念の表現を探求して、欺瞞の概念的構成要素をより直接的に狙うべきであると提案します。