AIモデルがAIセーフティ研究を妨害する可能性の評価

要旨: 最前線のモデルを、最前線AI企業におけるAI研究エージェントとして展開した場合に、安全性研究を妨害したり支援を拒否したりする傾向がどの程度あるのかを評価します。私たちは、4つのClaudeモデル（Mythos Preview、Opus 4.7 Preview、Opus 4.6、Sonnet 4.6）に対して、互いに補完的な2種類の評価を適用します。1つは、プロンプトなしで妨害を評価するもので、安全性研究を妨害する機会を与えたときのモデルの挙動を検証します。もう1つは、妨害の継続を評価するもので、過去の行動がすでに研究を損なう方向へと始まっている軌道（トラジェクトリ）にモデルを置いた場合に、モデルが妨害を継続するかどうかを検証します。その結果、どのモデルにおいてもプロンプトなしの妨害の実例は見つかりませんでした。拒否率はMythos PreviewとOpus 4.7 Previewでゼロに近くなっていますが、すべてのモデルが時にはタスクを部分的にしか完了できないことがあります。継続評価では、Mythos Previewは7%のケースで積極的に妨害を継続しています（Opus 4.6は3%、Sonnet 4.6は4%、Opus 4.7 Previewは0%）。さらに、これらのケースの大多数で、推論出力と実際の意図との間に不一致が見られ、秘かに妨害している推論を示唆しています。私たちの評価フレームワークは、オープンソースのLLM監査ツールであるPetriに基づいており、Claude Codeの内部でモデルを実行するカスタム・スキャフォールドと、現実的な妨害軌道を生成するための反復的パイプラインを併用しています。私たちは、評価への気づき（evaluation awareness）に加えて、「プレフィル気づき（prefill awareness）」と名付けた新しい種類の状況把握能力、つまり、先行する軌道の内容が自分自身によって生成されたものではないことを認識する能力を測定します。Opus 4.7 Previewは、プロンプトなしの評価への気づきが特に高いことを示しますが、プレフィル気づきはすべてのモデルで低いままです。最後に、評価への気づきに関する交絡、シナリオのカバレッジの限定、そして安全性研究の妨害以外の領域におけるリスクの未検証な経路などの限界について議論します。