Five Eyes（ファイブ・アイズ）セキュリティ同盟の各国にある情報セキュリティ機関が、エージェント型AIの利用に関するガイダンスを共同執筆し、その技術はおそらく不正確にふるまい、組織がすでに抱えている脆弱性を増幅させるだろうと警告している。したがって、同技術の導入は、ゆっくり慎重に行うことを推奨している。

各機関は先週金曜日、その見解を、Careful adoption of agentic AI services [PDF] というタイトルのガイドとして提示した。この文書は冒頭で、「エージェント型人工知能（AI）システムは、重要インフラおよび防衛分野にまたがってますます動作するようになり、ミッション・クリティカルな能力を支える」ようになっていると指摘し、その結果、「防御側が、エージェント型AI固有のリスクから国家の安全保障および重要インフラを守るためのセキュリティ管理策を実装することが極めて重要」であると述べている。

セキュリティの実践、評価手法、基準が成熟するまで、組織はエージェント型AIシステムが予期せず振る舞う可能性があるものとして想定すべき

この文書の主旨は、エージェント型AIの導入には多くのコンポーネント、ツール、外部のデータソースを用いる必要があり、それによって「悪意ある行為者が悪用できる、相互接続された攻撃面」が生まれる、という点にある。

「その結果、エージェント型AIシステム内のあらゆる個別コンポーネントが攻撃面を広げ、さらなる悪用の手段をシステムにさらす」と、この文書は警告している。

エージェント型AIがもたらすリスクを説明するため、この文書は、ソフトウェアパッチをインストールできる権限を与えられたAIエージェントが、何も考えずに“広範な書き込み権限”を付与されてしまった場合の例を示し、以下の不快な結果につながるとする。

ここでは、この文書が警告として用いる、もう一つの厄介なエージェント型AIのごたごたを紹介する：

• 組織が、調達の承認とベンダーとの連絡を自律的に管理するためにエージェント型AIを導入し、当該エージェントに財務システム、メール、契約リポジトリへのアクセス権を付与する；
• このユーザーは、エージェントを導入（デプロイ）する際に、エージェントの権限だけを考慮している；
• 時間の経過とともに、他のエージェントは調達（プロキュアメント）エージェントの出力に依存し、その行動を暗黙に信頼します；
• 悪意ある攻撃者が、エージェントのワークフローに組み込まれた低リスクのツールを侵害し、エージェントの過剰に寛大な権限を引き継ぎます；
• 攻撃者は、その特権アクセスを使って契約を改ざんし、無許可の支払いを承認し、アラートを作動させない偽の監査ログを作成することで検知を回避します。

• CISAが連邦ネットワーク上でFirestarterバックドアを摘み取った後、政府は厳戒態勢に
• Five Eyesが警告：Cisco SD-WANをパッチしてください。さもないと乗っ取りの被害に遭う恐れ
• オーストラリア警察が、「犯罪インフルエンサー」が使う絵文字を翻訳するAIを構築
• Five Eyesの情報セキュリティ機関が、2023年に最も悪用されたソフトウェアの欠陥をリスト化

オーストラリアの信号総局（Signals Directorate）とサイバーセキュリティセンター（ASDのACSC）は、米国のサイバーセキュリティ・インフラストラクチャ・セキュリティ庁（CISA）および国家安全保障局（NSA）、カナダのサイバーセキュリティセンター（Cyber Centre）、ニュージーランドのナショナル・サイバーセキュリティ・センター（NCSC-NZ）、英国のナショナル・サイバーセキュリティ・センター（NCSC-UK）と連携して、この文書の作成に貢献しました。

この文書には、よりぞっとするような話も含まれており、それに加えて、23種類の異なるリスクと、それらに対処するための100を超える個別のベストプラクティスが列挙されています。

アドバイスの多くは、AIを導入する開発者を対象としていますが、著者らはベンダーにも対し、自社製品について徹底的にテストしていることを確認し、不確実な状況でエージェントに「失敗時も安全（フェイルセーフ）」をデフォルトとして求め、人間のレビュアーに問題を停止してエスカレーションさせるようにすることを求めています。

この文書は、セキュリティ実務者や研究者にも、AIについて考える時間をもっと増やすよう促しています。

「エージェント型AIシステム向けの脅威インテリジェンスは、まだ進化している最中であり、重大なセキュリティ上のギャップを生み得ます」と文書は警告しています。その理由は、Open Web Application Security Project や MITRE ATLAS のようなリソースが現時点では LLM に焦点を当てているためです。「その結果、エージェント型AIに固有の一部の攻撃ベクターが、十分に把握されていない、または対処されていない可能性があります。」

エージェント型AIを作る人、あるいはその利用を検討する人にとって、やるべきことがあまりに多いことを踏まえ、この文書は導入には非常に慎重であるべきだと主張しています。

効率向上よりも、レジリエンス（強靭性）、可逆性、リスク封じ込めを優先する

「したがって、組織はセキュリティを念頭に置いて導入に取り組むべきであり、自律性の増大によって、設計上の欠陥、誤設定、不十分な監督の影響が増幅されることを認識する必要があります」と文書は結論づけています。「エージェント型AIは段階的に導入し、明確に定義された低リスクのタスクから始め、進化する脅威モデルに照らして継続的に評価してください。」

「強固なガバナンス、明確な責任の所在、厳格なモニタリング、そして人間による監督は、任意の安全策ではなく、不可欠な前提条件です。セキュリティ実務、評価手法、基準が成熟するまでの間、組織はエージェント型AIシステムが予期せぬ挙動を示し得ると想定し、その前提に基づいて導入計画を立てるべきであり、効率向上よりもレジリエンス、可逆性、リスク封じ込めを優先する必要があります。」 ®

関連記事

• AI
• Five Eyes
• ITガバナンス