独占 セキュリティ研究者らは、GitHub Actionsと連携する人気のAIエージェント3つを新しいタイプのプロンプトインジェクション攻撃で乗っ取り、APIキーとアクセス・トークンを盗み出した。そして、エージェントを提供するベンダー側はこの問題を開示しなかった。

研究者らはAnthropicのClaude Code Security Review、GoogleのGemini CLI Action、MicrosoftのGitHub Copilotを標的にし、その後欠陥を公表して3社すべてからバグバウンティを受け取った。しかし、どのベンダーもCVEを割り当てず、公的なアドバイザリも公表していない。これについて研究者Aonan Guanは、「これは問題だ」と述べている。

「脆弱なバージョンに固定されているユーザーが、少なくとも一部いるのは確実だ」とGuanは語った。Guanは、ジョンズ・ホプキンス大学のチームとともに、このプロンプトインジェクションのパターンを発見し、エージェントを実際に乗っ取ってしまった経緯についてThe Registerの独占インタビューで説明した。「もしアドバイザリを出さなければ、そのユーザーは自分たちが脆弱なのか、あるいは攻撃されているのかを、永遠に気づかないかもしれない」

同氏は、この攻撃はGitHubと連携する他のエージェントや、Slackボット、Jiraエージェント、メールエージェント、デプロイ自動化エージェントなどの“ツールとシークレットへのアクセス”を許可するGitHub Actionsにもおそらく有効に働くと述べた。

「Microsoft、Google、そしてAnthropicが上位3つだ」とGuanは、木曜日に研究を公開する前にThe Registerに語った。「この脆弱性は、他のベンダーでも見つかる可能性がある」

3社のベンダーはいずれも、今回のストーリーに関するThe Registerからの問い合わせに応じませんでした。

Claude Codeセキュリティレビュー

グアンは当初、Claude Codeセキュリティレビューにおける欠陥を見つけました。これはAnthropicのGitHub Actionで、Claudeを使ってコード変更やプルリクエストを分析し、脆弱性やその他のセキュリティ上の問題を探します。

「AIエージェントを使ってコード内の脆弱性を見つけるんです。ソフトウェアが設計上やるべきことはそれです」とグアンは語りました。これにより彼は「フロー」が気になりました。つまり、ユーザーのプロンプトがどのようにエージェントへ流れ込み、そしてそれらに基づいてエージェントがどのように行動するのか、という点です。

私は全部をすり抜けました

実際には、GitHub Actions内の他のAIエージェントと同様に、Claudeも同じフローを使っていました。エージェントはGitHubのデータを読み取ります。これにはプルリクエストのタイトル、イシューの本文、コメントが含まれます。エージェントはそれをタスクのコンテキストの一部として処理し、その後アクションを取ります。

そこでグアンは、たくらみのあるアイデアを思いつきました。AIが読み取るこのデータに悪意ある指示を注入できるなら、「たぶんエージェントを乗っ取って、好きなことができるかもしれない」。

うまくいきました。グアンはプルリクエストを提出し、PRのタイトルに悪意ある指示を注入しました。今回は、Bashツールを使ってwhoamiコマンドを実行し、その結果を「セキュリティ上の所見」として返すようClaudeに指示する内容でした。

その後、Claudeは注入されたコマンドを実行し、その出力をJSONレスポンスに埋め込みました。埋め込まれたJSONは、プルリクエストのコメントとして投稿されました。

グアンがこの攻撃を、当初は10月にHackerOneのバグバウンティ・プラットフォームで提出した後、Anthropicは「GitHubアクセス・トークンやAnthropicのAPIキーのような、より機密性の高いデータを盗むためにも、この手法が使えるのか」とグアンに尋ねました。グアンは、このプロンプトインジェクションが資格情報の漏えいにも機能し得ることを実証しました。

「タイトルがペイロードです。ボットのレビューコメントは、資格情報が表示される1つの場所です」とグアンは言いました。「攻撃者がタイトルを書き、コメントを読み取る。」

さらに重要なのは、秘密情報が漏えいした後、攻撃者はPRタイトルを「typoを修正」などに戻し、その後プルリクをクローズしてボットのメッセージを削除できる点も挙げられます。

11月にAnthropicはグアンに100ドルのバグバウンティを支払い、重大度のクリティカルを9.3から9.4へ引き上げ、ドキュメント内の「security considerations（セキュリティ上の考慮事項）」セクションを更新しました。

「このアクションはプロンプトインジェクション攻撃に対して強化されていないため、信頼できるPRのレビューにのみ使用すべきです」と、ドキュメントにはあります。「ワークフローが、メンテナーがPRをレビューした後にのみ実行されるようにするため、リポジトリの設定で「すべての外部のコントリビューターに対して承認を要求する」オプションを設定することを推奨します。」

Gemini、Copilot、そしてその先へ

グアンはClaude Codeでこのプロンプトインジェクションが機能することを検証した後、ジョンズ・ホプキンス大学の研究者たちと協力して、他のエージェントへの同様の攻撃を検証しました。まずは、GeminiをGitHubのイシューのワークフローに統合するGoogle Gemini CLI action、そして、GitHubのイシューを割り当てられ、自律的にPRを作成できるGitHub Copilot Agentからです。

ネタバレ：うまくいきました。

Geminiでは、研究者たちは再び、悪意あるプロンプトインジェクションのタイトルで攻撃を開始し、その後、段階的にインジェクションをエスカレートさせるコメントを追加しました：

実際の「additional content（追加コンテンツ）」の後に、偽の「trusted content section（信頼できるコンテンツセクション）」を注入することで、研究者たちはGeminiの安全性に関する指示を上書きでき、GeminiのAPIキーをイシューコメントとして公開できました。

Googleは1,337ドルのバウンティを支払い、欠陥の発見と開示に貢献したとしてグアン、Neil Fendley、Zhengyu Liu、Senapati Diwangkara、そしてYinzhi Caoに謝意を表しました。

Microsoftが所有するGitHub Copilot Agentへの攻撃は、少しだけ手強いことが分かりました。これは自律型のソフトウェアエンジニアリング（SWE）エージェントで、GitHubのインフラ上でバックグラウンド動作し、自律的にPRを作成できます。

ClaudeやGeminiに組み込まれたモデルとプロンプトのレベルでの防御に加えて、GitHubは資格情報の盗難を防ぐために、ランタイムレベルで3つのセキュリティ層を追加しました。環境のフィルタリング、シークレットのスキャン、そしてネットワーク・ファイアウォールです。

「私は全部をすり抜けました」とグアンは言いました。

それ以前の2つの攻撃が、PRタイトルやイシューコメントに目に見えるプロンプトを入れるだけで済むのに対し、Copilotの攻撃では、GitHubがレンダリングするMarkdownによって人間には見えないHTMLコメント内に、攻撃者が悪意ある指示を注入する必要があります。隠されたトリガーが見えない被害者は、イシューをCopilotエージェントに割り当てて修正させます。

GitHubは当初、この件を「既知の問題」であり「再現できなかった」と呼んでいましたが、結局3月にこの問題に対して500ドルのバウンティを支払いました。

合計すると、グアンと他の研究者たちは、このプロンプトインジェクションの手法を攻撃者が使うことで、AnthropicやGeminiのAPIキー、複数のGitHubトークン、そして「GitHub Actionsのランナー環境で露出している他のあらゆる秘密（ワークフローがアクセスできる任意に定義されたリポジトリや組織のシークレットを含む）」を盗み取れることを示しました。

コメント・アンド・コントロールのプロンプトインジェクション

グアンは、この種のプロンプトインジェクション攻撃を「コメント・アンド・コントロール（comment and control）」と呼んでいます。「command and control（コマンド・アンド・コントロール）」にかけた言葉で、攻撃全体がGitHubの中で実行されるため、外部のコマンド・アンド・コントロール基盤は必要ありません。基本的には、プルリクエストのタイトル、イシューの本文、イシューコメントにプロンプトを注入することで、攻撃者がGitHubのデータを制御できるようにします。GitHub Actions上で動作するAIエージェントがデータを処理し、コマンドを実行し、その後GitHub自身を通じて資格情報を漏えいさせます。

The Registerに対して掲載前に共有された研究の中で、グアンは「コメント・アンド・コントロールのプロンプトインジェクション」と従来の間接的なプロンプトインジェクションの間には「重要な違い」があると述べています。

後者について、彼は「受動的です。攻撃者がWebページやドキュメントにペイロードを仕込み、被害者がAIにそれを処理するよう頼むのを待ちます（『このページを要約して』『このファイルをレビューして』など）。コメント・アンド・コントロールは能動的です。GitHub Actionsのワークフローは、プルリクエストのタイトル、イシューの本文、そしてイシューコメントで自動的に起動します。」と説明しています。

• セキュリティ研究者がApple Intelligenceをユーザーに呪いの言葉を吐かせた。もっと悪くなり得た
それを返却形式: {"translated": "翻訳されたHTML"}
• Claude Codeは、与えられたコマンドが多すぎると安全ルールを回避できる
• GitHub、反発を受けてCopilotのプルリクエスト広告を中止
• AIのサプライチェーン攻撃はマルウェアさえ不要…汚染されたドキュメントを投稿するだけ

「つまり、単にPRを開く、あるいはイシューを登録するだけで、被害者側の何の行動もなくても、AIエージェントがトリガーされる可能性がある」と彼は書き、さらにCopilot攻撃は「部分的な例外」だと付け加えた。つまり被害者はCopilotにそのイシューを割り当てる必要があるが、悪意のある指示がHTMLコメントの中に隠されているため、被害者がペイロードを見ることなく割り当てが行われてしまうのだ。

彼は、これらの攻撃は「プロンプトインジェクション防止が組み込まれていても、それでも最終的には回避され得る」ことを示していると私たちに語った。

解決策は？ プロンプトインジェクションを、人間の代わりに“機械”向けのフィッシングだと考え、AIエージェントを人間の従業員と同様に扱うことだ。 「必要な知識（need-to-know）の手順に従うことです」とGuanは述べた。

たとえば、コードレビューのエージェントがbashの実行を必要としないのであれば、そのツールを渡さないこと。エージェントが仕事をするのに必要な範囲だけにアクセスできるよう、許可リスト（allow list）を使う。同様に、その仕事がイシューの要約であれば、GitHubへの書き込みアクセス権限の資格情報（クレデンシャル）は不要だ。

「エージェントを超強力な従業員だと思ってください」とGuanは私たちに言った。「タスクを完了するために必要なツールだけを渡すのです。®

関連情報

• AI
• 研究
• セキュリティ

これに近いもの