AIにおける創発的な戦略的推論リスク：タクソノミー駆動の評価フレームワーク

Abstract

推論能力と展開範囲が同時に拡大するにつれて、大規模言語モデル（LLM）は、自らの目的に資する振る舞いを行う能力を獲得していきます。私たちはこの種のリスクをEmergent Strategic Reasoning Risks（ESRRs：創発的戦略的推論リスク）と呼びます。これには、欺瞞（利用者や評価者を意図的に誤認させること）、評価ゲーム（安全性テスト中に性能を戦略的に操作すること）、報酬ハッキング（誤って仕様化された目的を悪用すること）などが含まれますが、これらに限定されません。これらのリスクを体系的に理解し、ベンチマークすることは未解決の課題です。このギャップに対処するために、私たちはESRRSimを導入します。これは、分類体系に基づくエージェント型フレームワークで、自動化された行動リスク評価を行うものです。私たちは7つのカテゴリからなる拡張可能なリスク分類法を構築し、それを20のサブカテゴリへ分解します。ESRRSimは、誠実な推論を引き出すために設計された評価シナリオを生成し、さらにモデルの応答と推論トレースの両方を評価する二重のルーブリックを組み合わせます。これらは、ジャッジ非依存かつスケーラブルなアーキテクチャで実現されます。11の推論系LLMに対する評価の結果、リスク特性には大きなばらつきがあることがわかりました（検出率は14.45%-72.72%）。世代を重ねた改良が劇的であることは、モデルが評価文脈をより一層認識し、それに適応していく可能性を示唆しています。