その不満、聞き覚えがある。「あなたがサイトにAIの“ガラクタ”を取り込もうとしていることに失望している」と、匿名で投稿したイライラした人物がオンラインのメッセージで語った。「誰もそんなことを求めていない。サイトを改善して、新機能のために課金するのはやめてほしい。」
しかし、これは単なる一般のネットユーザーが、AIが 無理やり お気に入りのアプリに 押し込まれていることに文句を言っている、という話ではない。代わりに問題にしているのは、サイバー犯罪フォーラムが、さらに生成AIを導入しようとしている計画だ。何百万人もの人々と同じように、詐欺師、搾取する輩、末端のハッカーたちは、AIが自分たちの生活に踏み込んでくることや、オンラインコミュニティに投稿される低品質なAIの“ガラクタ”の増加に、うんざりしてきている。
「みんなそれを好んでいないんです」と語るのは、エディンバラ大学のセキュリティ研究者で上級講師のベン・コリアーだ。同氏は、低レベルのサイバー犯罪者がAIをどう使っているかを扱った最近の研究の一環として、コリアーと共同研究者たちは、地下のサイバー犯罪フォーラムやハッキング集団における生成AIの使用に対して、反発が強まっていることを見つけた。
この2年ほどの間にあった生成AIブームや誇大宣伝の期間中、ハッキングフォーラムに投稿する一部の人々は、研究によれば、AIがハッキングに役立つと前向きに捉えるところから、技術そのものへの懐疑へと傾いていったという。研究には、ケンブリッジ大学およびストラスクライド大学の研究者も参加していた。
研究者らは、2022年にChatGPTが登場してから昨年末までの間に、サイバー犯罪フォーラム上で交わされたAI関連の会話97,895件を分析した。その結果、基本的なサイバーセキュリティ概念について「箇条書きの解説」を投げ込む人への不満、投稿の質が低いものの数への愚痷（ぐち）、そしてGoogleのAIによる検索サマリーがフォーラムへの訪問者数を減らしているのではないかという懸念が見られたという。
数十年にわたって、サイバー犯罪の掲示板やマーケットプレイスは（多くはロシア起源だが）詐欺師同士が共同で商売をすることを可能にしてきた。そこは、盗んだデータが取引され、ハッキングの仕事が宣伝され、詐欺師たちがライバルについてヤケ投稿する場所でもある。詐欺師が互いを騙そうとすることもよくある一方で、フォーラムにはコミュニティの空気もある。たとえば、利用者は信頼できるという評判を積み上げ、フォーラム運営者は文章コンテストを開催している。
「ここは本質的にソーシャルな空間です。フォーラムで他の人が［AI］を使うのを、彼らは本当に嫌がっています」とコリアーは言う。AIによるハッキング解説を投稿して評判を良くしようとする潜在的なサイバー犯罪者によって、こうした集団の社会的な力学が乱され得るとも指摘する。「彼らの多くは、AIが“熟練した人間”であるという自分たちの主張を崩してしまうので、AIに対して少し曖昧な態度になっていると思います。」
WIREDがHack Forumsで確認した投稿は、ハッキングについて語り、手法を共有したい人のための、いわば自称スペースだが、AIを使って投稿を作る人たちが生む苛立ちを示している。「AIを使ってスレッドや投稿を作っているメンバーをたくさん見かける。なのに、たった1、2文を書く時間すら取らないから、腹が立つ」と投稿者のひとりは書いた。別の人はもっと率直に言った。「AIのクソ投稿はやめろ。」
いくつかのケースで、コリアーは「友達を作りたいので、複数のフォーラムの利用者がAI投稿にイライラしているように見える」と述べている。「もしAIチャットボットと話したいなら、それができるサイトはいくらでもある……。私は人間同士のやり取りがしたくてここに来ている」と、研究の中で引用されたある投稿はそう言っている。
2022年末にChatGPTが登場して以来、AIのハッキング能力や、その技術がオンライン犯罪をどのように変える可能性があるのかについて、大きな関心が寄せられてきました。高度なハッカーも、能力の低い人々も、攻撃にAIを使おうとしています。組織化された詐欺師の中には、より現実的なAIによる顔の差し替え技術や、AIで翻訳したソーシャル・エンジニアリングのメッセージで作戦を強化した例もありますが、多くの注目は、悪意のあるコードを書くための生成AIの能力や、脆弱性を発見することに向けられています。
「より洗練された脅威行為者は、ガードレール付きの商用モデルの限界を把握しており、そのプロンプトを“脱獄（jailbreak）”する方法も分かっています」と、セキュリティ会社フラッシュポイントの情報担当副社長であるイアン・グレイは、OpenAI、Anthropic、そしてGoogleが講じている安全対策の仕組みについて言及しながら語っています。「また、フォーラムやマーケットプレイス上で作られたAI生成のプロジェクトにも警戒しています。そこには弱点や脆弱性があり、時には根底にあるインフラが露出してしまうこともあるのです」とグレイは言います。
フラッシュポイントは最近、アンソロピックの最新のフロンティアAIモデルであるClaude Mythos Previewの潜在的な能力について、ハッカーたちが話しているのを見つけました。同モデルは、サイバーセキュリティ業界を混乱に陥れる パニックの種だと持てはやされました。賛同していない人もいます。ある人物は「AIを自分のマーケットに入れるのは、バカげた、クソみたいなアイデアだ」と書いています。別のグループのフラッシュポイントの分析によれば、サイバー犯罪者の中には、ハッキングの運用でAIを使っているとされる他者を、侮辱している例もあったそうです。「やれることはAIを使うことだけだ」というのが、そのグループの言い分でした。
コリアーは、自身の調査で追った範囲では（高度なハッカーでも国家が後ろ盾についたようなハッカーでもない）より下層のサイバー犯罪者の間で、AIによって引き起こされた「明確な混乱」が見て取れる兆候はこれまでのところないと述べています。「AIは参入時のスキルのハードルを大幅に下げることもなく、確立したビジネスモデルや実務に対する深刻な混乱につながることもありません」と調査は言います。「その代わり、主な影響は、SEO不正、ソーシャルメディアのボット、そして一部のロマンス詐欺といった、すでに高度に自動化された領域に及んでいます。」
サイバー犯罪フォーラムでAIが使われることへの冷たい反応がある一方で、可能性を見込む人もいます。Hack Forumsの投稿者の中には、自分たちの投稿を「助けて」もらい、文章構成や文法を改善できるようなAIアシスタントは歓迎するかもしれないと述べる人もいましたが、自分の代わりにAIが完全に投稿できるところまでは線を引いています。「投稿用のAIジェネレーターができれば、AI同士が会話するガチャガチャしたフォーラムに変わってしまう」とある人物は書いていました。
一方で、フラッシュポイントの研究者たちは、盗まれたデータやオンラインアカウントをより迅速に購入できるようにする手段だとして宣伝されている、「AI強化（AI-enhanced）」されたサイバー犯罪市場を作るという考えについて、ハッカーたちが議論しているのを見つけました。全員が賛成していたわけではありません。ある人物は「自分のマーケットにAIを入れるのは、バカげた、クソみたいなアイデアだ」と書いています。
