合成トラスト攻撃：生成AIがソーシャルエンジニアリング詐欺で人間の意思決定を操作する仕組みのモデル化

要旨: CFOから、同僚に囲まれた状態でビデオ通話がかかってきており、機密の振替を至急承認するよう求められる状況を想像してください。あなたは従います。通話にいた全員は偽物であり、あなたは今、2,500万ドルを失いました。これは架空の話ではありません。これは2024年1月に香港で実際に起き、詐欺の新しい世代のひな形になりつつあります。AIが新しい犯罪を発明したわけではありません。AIは、古くからある犯罪を工業化したのです。すなわち「信頼」の製造です。
本論文は、脅威カテゴリとしてSynthetic Trust Attacks（STAs：合成信頼攻撃）を提案し、攻撃者の偵察からコンプライアンス後のレバレッジに至るまで、攻撃チェーン全体をカバーする8段階の運用フレームワークであるSTAM（Synthetic Trust Attack Model：合成信頼攻撃モデル）を導入します。中核となる主張はこれです。既存の防御は合成メディアの検出を対象にしていますが、真の攻撃対象は被害者の意思決定である、ということです。人間によるディープフェイク検出の精度が約55.5%にとどまり（偶然をわずかに上回る程度）、LLMの詐欺エージェントは人間のオペレーターに対して18%であるのに対し46%のコンプライアンスを達成し、しかも安全フィルタを完全に回避してしまうとき、知覚（パーセプション）の層はすでに破綻しています。防御は意思決定の層へ移行しなければなりません。防御のために、5カテゴリのTrust-Cue Taxonomy（信頼手がかり分類体系）を提示し、パイロットでコード化した例を含む再現可能な17項目のインシデント・コーディング・スキーマを示し、さらに攻撃の構造がコンプライアンス結果に結びつくことを関連づける、反証可能な4つの仮説を提示します。加えて、本論文は、著者が実務家として開発したCalm, Check, Confirm（落ち着く、確認する、確定する）プロトコルを、研究グレードの意思決定層の防御として具体的に運用可能にします。AI詐欺の時代における真の攻撃対象は、合成メディアではなく「合成的な信用（シンセティック・クレディビリティ）」です。