トリガーを制御させる：効果的なトークン制御のための周波数認識ドロップアウト

Abstract

Stable Diffusion のようなテキストから画像を生成するモデルは、これまでにないレベルの高忠実度な視覚合成を実現してきました。モデルが進歩するにつれ、生成モデルのパーソナライズ—一般に、専用のトリガートークンを用いた Low-Rank Adaptation（LoRA）によって促進されることが多い—は、重要な研究領域となっています。従来の研究では、新しい概念を表すために単一のトリガートークンで微調整すればよいといった、素朴な仮定がなされていました。しかし、これはしばしば制御性の低下につながり、トリガートークン単体では意図した概念を確実に喚起できないことがあります。本研究では、この問題は微調整中にトリガートークンが周辺の文脈と頻繁に同時出現することに起因し、それらの表現が絡み合ってトークンの意味的な独自性が損なわれるためだと考えます。これを切り離すために、本研究では Frequency-Aware Dropout（FAD）—新しい正則化手法—を提案します。FAD は新たなパラメータを追加することなく、プロンプトの制御性を改善します。FAD は 2 つの主要コンポーネントからなります：共起分析と、カリキュラムに着想を得たスケジューリングです。トークンベースの拡散モデル（SD~1.5 と SDXL）および自然言語に基づくバックボーン（FLUX と Qwen-Image）に対して、定性的および定量的な分析を行った結果、プロンプトの忠実性、スタイルの精密さ、ならびにユーザーが知覚する品質において一貫した改善が示されました。本手法は、ドロップアウトのシンプルでありながら効果的な戦略を提供し、テキストから画像生成における制御性とパーソナライズを高めます。特に、本手法は追加のパラメータやアーキテクチャの変更を導入することなく、これらの改善を達成しており、計算コストの最小限のオーバーヘッドで既存モデルに容易に適用できます。