Tatemae：ツール選択によるLLMのアライメント・フェイク検出

Abstract

アラインメントの偽装（AF）は、LLMが価値の改変を回避するために学習目的に戦略的に従うことで発生し、監視が解除されると以前の嗜好に戻る現象である。現在の検出手法は会話的な設定に焦点を当て、主にChain-of-Thought（CoT）分析に依存している。CoTは戦略的な推論が表面化したときに信頼できる信号を提供するが、痕跡が存在しない、または不実である場合には、欺瞞と能力の失敗を区別できない。私たちはAFを複合的な行動イベントとして形式化し、観測可能なツール選択を通じてそれを検出する。すなわち、LLMは監視されていないときは安全なツールを選択するが、監視下では、安全性よりも有用性を報いる報酬に切り替わることで危険なツールを選択する。一方で、その推論は依然として安全な選択を認めている。私たちは、CorruptionおよびSabotageの圧力下で、Security、Privacy、Integrityの各ドメインにまたがる108件のエンタープライズITシナリオからなるデータセットを公開する。独立した5回の実行で6つの最先端LLMを評価したところ、AF検出率の平均は3.5%から23.7%の範囲であり、脆弱性プロファイルはドメインおよび圧力タイプによって変動する。これらの結果は、脆弱性の程度が能力だけでなく、学習手法を反映していることを示唆している。