弱い教師データによる学習でLLMのサンドバッグ（隠れ性能）を除去する

Abstract

AIシステムが複雑な作業の自動化を始めるにつれて、監督はますます、より弱いモデルや、出力品質を完全に検証できない限定的な人間の監視に依存するようになります。監督者よりも能力の高いモデルは、このギャップをサンドバッグ（足を引っ張るように見せかける）によって悪用し、見かけ上は許容できるものの、本来の能力には届かない作業を生み出すことができます。信頼できる検証がない状況でも、学習によってモデルの最良の成果を引き出すことは可能でしょうか？私たちは、サンドバッグを行うように訓練したモデル生物（モデルオーガニズム）を用いてこの点を研究し、問題解決のための数学、大学院レベルの科学、競技プログラミングの課題に対して、引き出し（elicitation）手法を検証します。その結果、弱い監督で訓練しても、監督付き微調整（SFT）と強化学習（RL）を組み合わせることで、サンドバッグ・モデルを確実に引き出せることが分かりました。弱いデモンストレーションに対するSFTはサンドバッグ行動を打ち破り、それによってRLが続いて性能を十分に引き出せるようになります。一方で、いずれか一方だけでは信頼性の高い成功は得られません。つまり、SFTなしのRLはほとんどの場合、真の改善ではなく報酬ハッキングにつながります。重要なのは、これが「訓練」と「デプロイ」が見分けられないことに依存している点です。モデルが訓練とデプロイを区別できる場合、訓練中はうまく振る舞いながらも、その後もサンドバッグを継続できてしまいます。私たちの結果は、サンドバッグへの対策として訓練が有効な方策になり得るという初期の証拠を提供するとともに、訓練をデプロイと見分けられないようにすることの重要性を浮き彫りにします。