理解がリスクになるとき：新興の画像生成パラダイムにおける真正性と安全性のリスク

Abstract

近年、多モーダル大規模言語モデル（MLLMs）が、言語と言像の生成のための統一的なパラダイムとして登場している。拡散モデルと比較して、MLLMは意味理解に関する能力がはるかに強く、より複雑なテキスト入力を処理し、より豊かな文脈的意味を理解できる。しかし、このように強化された意味能力は、新たで、かつ潜在的により大きな安全リスクをもたらす可能性もある。拡散モデルを参照点として、我々は、生成されつつあるMLLMの安全リスクを、2つの次元――危険なコンテンツ生成と、偽画像の合成――に沿って、体系的に分析し比較する。複数の危険な生成ベンチマークデータセットにおいて、MLLMは拡散モデルよりも危険な画像を生成しやすいことを観察した。この相違は一部、拡散モデルが抽象的なプロンプトを解釈できないことが多く、その結果、破損した出力を生成してしまうのに対し、MLLMはこれらのプロンプトを理解して危険なコンテンツを生成できるためである。現在の高度な偽画像検出器においても、MLLMが生成した画像は同定が特に難しい。検出器をMLLM固有のデータで再学習した場合でも、より長く、より説明的な入力をMLLMに与えるだけで回避できてしまう。我々の測定は、最先端の生成パラダイムであるMLLMにより生じつつある安全リスクが、十分に認識されておらず、実世界の安全に対して新たな課題をもたらしていることを示している。