フォロー・ザ・フロー：テキストから画像生成モデルにおけるテキストトークン間の情報フロー

概要: テキストから画像を生成するモデルは、位置合わせ（アラインメント）の問題に悩まされます。生成された画像が、テキストプロンプトに含まれる対象物や関係を正確に捉えられないのです。従来の研究では、拡散過程を改良することで位置合わせを改善しようとする取り組みが中心であり、拡散を導くテキストエンコーダの役割は無視されてきました。本研究では、テキストから画像へのプロンプトにおいて、意味情報がトークン表現にどのように分布しているのかを調査します。分析は2つのレベルで行います: (1) アイテム内表現—個々のトークンが、その語彙項目（すなわち、単一の概念を伝える語または表現）を表しているかどうか、(2) アイテム間の相互作用—異なる語彙項目のトークン間で情報がどのように流れるかどうかです。符号化のパターンを明らかにするためにパッチング手法を用い、その結果、情報は通常、そのアイテムのトークンのうち1つか2つにだけ集中していることが分かります。例えば、「San Francisco's Golden Gate Bridge（サンフランシスコのゴールデンゲートブリッジ）」というアイテムでは、「Gate」というトークンが表現全体を十分に捉えており、他のトークンは実質的に破棄しても構いませんでした。語彙項目はまた、互いに孤立した状態を保つ傾向があります。たとえば、「a green dog（緑の犬）」というプロンプトでは、「dog」というトークンは「green」に関する視覚情報をまったく符号化していません。しかし、場合によっては、あるアイテムが別のアイテムの表現に影響し合い、その結果、誤解が生じることがあります。たとえば「a pool by a table（テーブルのそばのプール）」というプロンプトでは、「pool」というトークンは、文脈化の後「pool table（プール台）」を表すようになります。本研究の知見は、画像生成におけるトークンレベルの符号化の決定的な役割を示し、符号化段階における単純な介入が位置合わせと生成品質を大きく改善しうることを実証します。