AIガバナンスに関するほとんどの議論が、実際に失敗が起きる場所を見落としています。問題は、AIシステムが何を考えるかではありません。問題は、それが何を実行するかです。
これは「AI実行リスク」として知られています。
AI実行リスクは、システムが以前に承認されたアクションを実行しますが、実行される時点ではもはや有効ではないときに発生します。多くのAIおよび機械学習システムでは、意思決定は上流で行われ、実行は後になります。実行が行われるまでに状況（文脈）が変わっている可能性があるのに、システムはそのまま実行を続けます。
推論と実行の間にあるそのギャップが、物事を壊す場所です。
実際のソフトウェアエンジニアリングでは、これは単純な形で現れます。エージェントが手順をスキップしても成功を報告する。ワークフローが古いデータで動作する。システムが正しいアクションを、誤ったタイミングで実行する。これらは幻覚ではありません。実行の失敗です。
セキュリティの観点では、ここにこそ本当のリスクがあります。AIシステムがアクションを取れるようになると、それらはあなたの「実行レイヤー」の一部になります。そこでコントロールがなければ、いま何が真実かを検証するのではなく、以前の推論を信頼してしまうことになります。
だからこそ、多くのAIガバナンスのアプローチが不十分になります。ポリシー、監視、監査は実行の前後で行われますが、アクションが実際に起きる瞬間には行われません。
AI実行リスクとは、AIにより駆動されたアクションが、現在の状況に照らしてチェックされないまま実行されることで発生する失敗です。
多くのAIガバナンスの枠組みは、モデルの振る舞い、コンプライアンス・ポリシー、そして監視出力に焦点を当てます。実行そのものを制御しません。
転換点は、実行を境界として扱うことです。
すべてのアクションは、実行されるその瞬間にもう一度チェックする必要があります。以前に決定された内容に基づくのではなく、いま有効な内容に基づくのです。そうすることで、ガバナンスは抽象的なものから、実際に振る舞いを制御するものへと変わります。
AIが実際のシステムで動作するなら、ガバナンスは推論で止められません。実行の場に存在しなければなりません。
完全な内訳はこちら：
PrimeFormCalculus.com
他の人たちは、生産環境のシステムでAI実行リスクをどう扱っていますか？
