不可逆性の制御としてのAIセーフティ：意思決定エネルギーとソブリンティ境界のためのシステム枠組み

概要: 最近のAIシステムは、能力の成長と能力の展開の距離を縮めています。以前の高リスク技術は、資本集約度、物理的ボトルネック、組織の慣性、そして専用のサプライチェーンによって鈍化していました。これに対して、AIの能力は、複製され、呼び出され、ワークフローに埋め込まれ、低い限界コストで機関をまたいでスケールすることができます。本論文は、展開に伴う摩擦の低下が安全性の問題を根本から変える、という主張を行います。安全性は、局所的な出力の正確さや嗜好整合だけではなく、高まる意思決定密度のもとで不可逆性を制御することです。
本論文は、意思決定エネルギー密度によってこの主張を形式化します。これは、あるノードが、重大な意思決定の生成・評価・選択・実行を行う能力を、意思決定率で重み付けしたものです。さらに、AIが人間の統治されたシステム内で増幅器として留まるのか、それとも事実上の統制中枢になってしまうのかを決める3つの主権（ソブレインティ）境界を特定します。すなわち、不可逆な意思決定権限、物理的資源動員の権限、自己拡張の権限です。このモデルは、効率圧力、経路依存性、スケールのフィードバック、そして境界制約の弱さによって、意思決定エネルギーが最も効率的なノードに集中することを示します。この集中は、局所的な各行為の誤り率が低いとしても、責任の拡散を招き、不可逆なシステム全体の損失の確率を高め得ます。
主な結果は、境界安定化定理です。これは、高度なシステムが常に正しいことを証明する必要は必ずしもないことを示します。代わりに、単一の高効率ノードによって不可逆な強力さが解放されないようにする、制度的および技術的な設計が必要になります。本論文は、AIの安全性を、重層的な制御、認可、そして外部からレビュー可能な制限として捉え直し、整合（アラインメント）、セキュリティ工学、組織の経済学、ならびに制度設計を結び付けます。