テキスト反転によるオブジェクトのゼロショット個別最適化

要旨: 近年のテキストから画像への拡散モデルに関する進展は、画像のカスタマイズ品質を大幅に向上させ、非常に写実的な画像の合成を可能にしました。しかし、この進歩にもかかわらず、速く効率的なパーソナライズを実現することは依然として主要な課題であり、特に実世界のアプリケーションにおいて顕著です。既存の手法は主に、拡散モデルにアイデンティティ固有の埋め込みを注入することで、人間の被写体に対するカスタマイズの高速化を行いますが、これらの戦略は任意の物体カテゴリへうまく一般化できないため、適用範囲が限られます。
この制約に対処するために、本研究では、学習済みネットワークを用いて、物体ごとのテキスト反転埋め込みを予測し、その埋め込みを拡散モデルのUNetのタイムステップに統合する、新しい枠組みを提案します。この設計により、単一のフォワードパスで幅広い物体に対する、迅速かつゼロショットのパーソナライズが可能となり、柔軟性とスケーラビリティの両立を実現します。複数のタスクと設定にまたがる大規模な実験により、提案手法の有効性が示されており、速くて多用途、そして包括的な画像カスタマイズを支援できる可能性が強調されています。私たちの知る限り、本研究は拡散モデルにおいて、このような汎用的で学習不要（training-free）のパーソナライズを達成する最初の試みであり、パーソナライズされた画像生成に関する今後の研究への道を拓くものです。