PhySE：リアルタイムAR-LLMソーシャルエンジニアリング攻撃のための心理学的フレームワーク

要旨: AR-LLM（AR-LLM）ベースのソーシャルエンジニアリング（AR-LLM-SE）攻撃（例: SEAR）がもたらす新たな脅威は、現実世界の社会的な相互作用に対して重大なリスクとなる。こうした攻撃では、悪意のある攻撃者が拡張現実（AR）メガネを使って標的の視覚・音声データを取得する。続いて大規模言語モデル（LLM）がこのデータを分析し、個人を特定し、詳細なソーシャルプロフィールを生成する。その後、LLMを活用したエージェントがソーシャルエンジニアリング戦略を用い、リアルタイムの会話提案を提供することで標的の信頼を獲得し、最終的にフィッシングやその他の悪意ある行為を実行する。潜在的可能性はあるものの、AR-LLM-SEの実用化には2つの主要なボトルネックがある。(1) コールドスタートのパーソナライゼーション。現在のリトリーバル強化生成（RAG）手法は、最初のターンにおいて重要な遅延を生み出し、初期のプロフィール形成を遅らせ、リアルタイムの相互作用を妨げる。(2) 静的な攻撃戦略。既存のアプローチは、固定された段階的な手作りのソーシャルエンジニアリング戦術に依存しており、確立された心理学理論に基づいていない。これらの制約に対処するために、2つの中核的な革新を備えた新しい枠組みPhySEを提案する。(1) VLMベースのソーシャルコンテキスト学習。プロフィール生成の遅延を解消するために、ソーシャルコンテキストデータを用いて視覚言語モデル（VLM）を効率的に事前学習し、迅速なオンザフライのプロフィール生成を可能にする。(2) 適応的な心理エージェント。標的の応答に応じて異なるクラスの心理戦略を動的に展開する心理学LLMを導入し、静的で手作りの台本を超える。PhySEは、IRB承認のユーザスタディにより評価し、60人の参加者から、多様な社会的シナリオにわたる360件の注釈付き会話からなる新しいデータセットを収集した。