パーソナライゼーション・ツールキット：大規模ビジョン言語モデルの学習不要パーソナライズ

Abstract

大規模ビジョン-言語モデル（LVLM）のパーソナライズは、特定のユーザやオブジェクトのインスタンスを認識し、文脈に合わせて調整された応答を生成するためにモデルをカスタマイズすることを指します。既存のアプローチは、各対象ごとに時間のかかる学習を必要とするため、現実のデプロイメントには不向きです。これは、現在のパーソナライズのベンチマークが、オブジェクト中心の単一コンセプト評価に限定されていることからも明らかです。本論文では、 ours と呼ぶ LVLM パーソナライズのための新しい訓練（学習）不要手法を提案します。我々は、パーソナライズ課題のさまざまな側面を厳密に評価するための、包括的で現実世界に即したベンチマークを設計します。 ours は、事前学習済みのビジョン基盤モデルを活用して識別的特徴を抽出し、検索拡張生成（RAG）技術を適用して視覚入力内のインスタンスを特定し、視覚プロンプト戦略を用いてモデル出力を導きます。我々のモデル非依存のビジョン・ツールキットは、追加の学習なしで、画像と動画の両方に対して、効率的かつ柔軟なマルチコンセプト・パーソナライズを可能にします。既存の訓練ベース手法を上回る最先端の結果を達成します。