ID-Sim：アイデンティティに焦点を当てた類似度指標

Abstract

人間には、アイデンティティに対する驚くべき選択的な感度があります――視点の多様性や照明の違いなど、かなり異なる状況にまたがっても、高度に類似したアイデンティティ同士を容易に見分けることができます。視覚モデルはこの能力に匹敵することに苦戦しており、パーソナライズされた画像生成のようなアイデンティティ中心のタスクに向けた進展は、アイデンティティ中心の評価指標が不足していることによって鈍化しています。そこで私たちは、人間の選択的な感度を忠実に反映するためのフィードフォワード指標であるID-Simを提案します。ID-Simを構築するために、現実世界の多様な領域にまたがる高品質な学習用画像データセットを厳選し、制御された、きめ細かなアイデンティティおよび文脈の変動を提供する生成的な合成データで拡張します。さらに、私たちの指標を、新たな統一評価ベンチマーク上で評価し、アイデンティティ中心の認識、検索、および生成タスクにおいて、人間の注釈との整合性を評価します。