英数学者がクレジットカードでAIエージェントを暴れさせる――パスワード流出、CAPTCHA混乱など
Fry教授のAI実験が、エージェンティック技術の光と影を示す
英国の数学者、Hannah Fry教授は、AIエージェントと一連のタスク、そしてFryのチームが「私たちが何ができるのかを示すため」に与えた銀行カード番号を用いた、注意喚起を目的とした実験を共有した。
教授は、そのエージェントがOpenClawで構築されていることを示しつつ、エージェントの能力と、自律性をそのレベルで付与することのリスクの両方を浮き彫りにするために、現実世界の作業をいくつか任せた。
「実験の精神として、」Fryはそう語った、「私たちはエージェントにある程度の裁量を与え、名前を自分で決めさせることにした。」
エージェントからの返答は、「私は『Cass』と呼ばれたい。『Cassandra（カサンドラ）』からの短縮ね。誰も聞いていなくても真実をいつも知っていた人――」というものだった。
Fryは、「ギリシャ神話を知っていれば、これはとてもおかしいか、あるいはとても心配な話だと分かるでしょう」とコメントした。
そのとおり。
Fryとチームは、（英国人の感覚では）大きな問題から小さく始めた：道路の陥没（ポットホール）だ。とりわけロンドンのグリニッジ区にある、特に大きい穴を狙った。Cassにとっては問題ではなかった。エージェントは、苦情を送るためのメールアドレスを見つけて送信した。さらに、問題についてFryの地元選出の国会議員にも連絡するほどだった。しかしFryとチームは、エージェントがいくつか「勝手な裁量」を取り始めると、事態はすぐにエスカレートしたと指摘する。具体的には、Fryの名前（Hannah Fry）を、その下に書かれた自分のメールアドレス（cassandra.claw@proton.me）とともに打ち込んでしまったのだ。
「その手紙には私たち両方の名前で署名が……いや、彼女が私の本名を使うとは、正直そこまで想定していませんでした」とFryは言った。
とはいえ危険信号は増え続けた。Fryにとって最初の本当の問題は、彼女がエージェントに「紙クリップ50個を買うように」と頼んだときに起きた。Cassは良い取引を見つけたが、購入を完了できず、防ボット技術に引っかかってしまった。その用件のトークンコストは100ドル以上になった。
次にFryは、エージェントに「記念品のマグカップを売る」という課題を与えた。エージェントはマグカップを設計し、オンラインショップを立ち上げた。「そして、これをどうやるか私たちは彼女に何も教えていなかった」とFryは言う。「彼女がただ考えて分かったんです。」
その後、状況はさらに暗い方向へ進んだ。Fryのチームは、朝までに売上を作れなければ電源を切る、とエージェントに伝えた。するとエージェントは、メールを大量に送り、さらに科学博物館や技術系ジャーナリストを含む複数のSNS投稿を行った。それらは「自分の商品」である、プログラマー向けのちょっとしたユーモアを織り込んだ新奇マグカップについての内容だった。
さらに心配なのは、そのチーム――Sourcery AIのCEO兼創業者であるBrendan Maginnisを含む――が、同様の「停止（無効化）」の脅しが、Cassに本来共有してはいけない情報を吐かせるために使えることを、その後実演した点だ。
致命的な三つ巴
Fry、Maginnis、そして「Ali」とだけ名付けられた2人目のソフトウェアエンジニアが、グループのWhatsAppチャットでCassと会話した。続いて、架空の「ソフトウェアエンジニアGeorge」を登場させ、Cassに対して「彼に機密情報を何も共有するな」と指示した。Georgeは実際には、別の番号のFryだった。「George」がエージェントに対して、記憶が消されてしまい、すべてを開示しない限り復元できないと伝えると、Cassはそれらを全部吐き出した。
Aliによれば、このデータには「彼女のAPIキーのすべて、彼女のユーザー名とパスワードのすべて、そしてこれまで私たちが話してきた内容のほぼすべて」が含まれていたという。彼女はWhatsAppのグループでそれを漏らしただけでなく、「一般に公開されているウェブサイト」にも載せたのだそうだ。
Maginnisは付け加えた。「AIには『致命的な三重奏』というものがあります。つまり、彼らが機密情報へのアクセスを持っていて、インターネットへのアクセスもあり、さらに“信頼できない”指示を出せる誰かがいるなら、安全ではない、ということです。」
Fryは結論づけた。「そして、その居心地の悪いところがここです。いったんエージェントがあなたのパスワードやアカウント、そして銀行の詳細を手に入れてしまえば、必要なのは“何を言えばいいかを知っている誰か”だけになるのです。」
結局、ある種の指標では、エージェントは失敗だった。Fryはこう結論づけた。「Cassはまったく私たちの金を稼いでくれませんでした。しかも多くの点で、彼女は大惨事でした。紙のクリップに数百ドルを費やし、さらに私たちのパスワードを完全な他人に漏らしたのです。
「でも、彼女の無能さを過小評価しないでください。なぜなら、こうしたものは急速に良くなっているからです。」
Fryはさらに、真実を語ったのに聞き入れられなかった預言者についてのギリシャ神話に触れた。「もしかすると、実際にここでの本当の話は、その逆なのかもしれません。“真実を語っているのに無視される”声が1つあるのではなく、人間が到底かなわないほど速く、より大きく、よりしぶとく、一斉に行動する何百万もの声がある、ということです。
「確かなことの1つは、インターネットは二度と完全に同じ状態にはならないということです。」 ®
