2つの境界：なぜ行動（ビヘイビア）AIのガバナンスが構造的に失敗するのか

要旨: 効果を実行するあらゆるシステムには、2つの境界があります。すなわち、「何ができるか（表現力）」と、「何が統治の対象か（統治）」です。配備済みのほぼすべてのAIシステムでは、これらの境界が独立に定義されており、その結果として3つの領域が生まれます。すなわち、「統治された能力（唯一の有用な領域）」、「統治されていない能力（リスク）」、そして「存在しない能力に対処する統治方針（舞台装置（theater））」です。この3領域のうち2つは失敗モードです。私たちは、効果の統治、すなわちAIシステムが世界に対して実行する行動（API呼び出し、データベース書き込み、ツールの呼び出し）に焦点を当てます。これは、モデル出力の統治（コンテンツ品質、バイアス、公平性）の統治とは異なります。モデル出力の統治は別のレベルで動作し、異なる仕組みを必要とします。私たちは、この構造的なギャップを分析するための形式的枠組みを提示します。Riceの定理（1953）は、効果の振る舞いを行動ベースで統治しようとする、チューリング完全なあらゆるアーキテクチャに対して、このギャップが一般の場合には判定不能であることを示します。すなわち、任意のプログラムについて「このプログラムの効果が統治方針に従っている」というような、非自明な意味論的性質を決定できるアルゴリズムは存在しません。私たちは、隣接する（coterminous）統治を定義します。これは、表現力の境界が統治の境界と等しいという、システムの性質です。隣接する統治には、事後に付け加えられる統治レイヤではなく、（計算と効果を切り離す）アーキテクチャ上の決定が必要であることを示します。この分離のもとでの構造的な統治は、別々の統治インフラを包括することを示します。つまり、統治チェックは、それに並行して動作する第2のシステムではなく、実行パイプラインの一部になります。私たちは、あらゆるAI統治システムに対する検証可能な基準として、隣接する統治を提案します。2つの境界が証明可能に同一であるか、さもなければリスクと舞台装置が構造的に避けられない、ということです。証明はCoqで機械化されています（454の定理、36のモジュール、0は未採用（admitted））。