要旨: 大規模言語モデル（LLM）は、厳しい計算量および量子化の制約下で、エッジデバイス上にますます導入されつつある一方、そのセキュリティ上の含意は依然として不明確である。本研究では、現実的なクエリ予算のもとで、量子化されたエッジ配備LLMからのクエリベースの知識抽出を調査する。そして、量子化によってノイズが導入されるものの、根底にある意味的知識は除去されず、注意深く設計されたクエリによって実質的な行動の回復が可能であることを示す。このリスクを体系的に分析するために、
\textbf{CLIQ}（\textbf{Cl}ustered \textbf{I}nstruction \textbf{Q}uerying）
を提案する。これは、冗長性を抑えつつ意味のカバレッジを改善する、構造化されたクエリ構築の枠組みである。量子化したQwenモデル（INT8/INT4）での実験により、CLIQは一貫して、BERTScore、BLEU、ROUGEのいずれにおいても元のクエリより高い性能を示し、限られた予算のもとでより効率的な抽出を可能にする。これらの結果は、量子化だけではクエリベースの抽出に対して有効な防護を提供しないことを示唆しており、エッジ配備LLMにおける、これまで十分に検討されてこなかったセキュリティ上のリスクを浮き彫りにする。
エッジLLMはどれほど脆弱なのか？
arXiv cs.CL / 2026/3/26
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文では、現実的なクエリ予算のもとで、エッジ端末上で量子化されたLLMを対象に、クエリベースの知識抽出攻撃が振る舞いをどの程度回復できるかを検証する。
- その結果、量子化はノイズを付加するものの意味的な知識を消し去ることはなく、注意深く設計したクエリによって実質的な振る舞い回復が可能であることが分かる。
- 著者らは、冗長なクエリを減らしつつ意味カバレッジを向上させることを目的とした、構造化されたクエリ構築手法CLIQ（Clustered Instruction Querying）を提案する。
- 量子化したQwenモデル（INT8/INT4）に対する実験では、CLIQが複数のテキスト類似度／重なり指標（BERTScore、BLEU、ROUGE）において元のクエリ手法を上回り、限られた予算下でもより効率的であることが示される。
- 全体として、これらの結果は、この種の抽出リスクに対しては、量子化単体では有効なセキュリティ対策にならないことを示唆している。
