大規模視覚言語モデルが生成する属性ベースの記述に対する視覚的なテキストスタイルの影響の解明

Abstract

テキストの視覚的スタイルを考えると、フォント、色、サイズにおいて多様性が観察されます。しかし、単語が読まれるとき、その意味は、その単語がどのスタイルで書かれ、どのようにレンダリングされたかとは独立しています。本論文では、画像中で単語が可視化されるスタイルが、その単語が指し示す概念に対して、大規模視覚言語モデル（LVLM）が提供する記述に、影響を与えるかどうか、また与えるとすればどのように与えるのかを調査します。具体的には、機能的なテキストスタイル（可読性志向、例：黒のサンセリフ）と、装飾的なスタイル（表示志向、例：色付きの筆記体／スクリプト）が、概念の属性という観点から見たLVLMの概念記述にどのように影響するかを調べます。実験では、LVLMが視覚テキスト、すなわち画像としてレンダリングされた単語または複数の単語により指し示される概念を正しく識別できる状況、そして視覚テキストのスタイルが、LVLMが生成する属性ベースの記述に影響してはならない状況を扱います。実験結果は、概念が正しく識別される場合であっても、テキストスタイルがその概念に関するモデルの属性ベースの記述に影響することを明らかにします。本研究の発見は、テキストスタイルから意味推論への非自明な情報漏えいが存在することを示し、LVLMベースのマルチメディアシステムに対して、スタイルを考慮した評価と低減策（ミティゲーション）を動機づけます。