NearID: ニア・アイデンティティ・ディストラクタによるアイデンティティ表現学習

概要：個別化された生成や画像編集といったアイデンティティに焦点を当てたタスクを評価する際、既存の視覚エンコーダは物体のアイデンティティを背景文脈と絡めてしまい、信頼性の低い表現や指標につながります。私たちは、この脆弱性に対処するための最初の原理に基づく枠組みを導入します。それが、Near-identity（NearID）ディストラクタです。ここでは、意味的に類似しているが別個のインスタンスを、参照画像とまったく同一の背景上に配置することで、文脈に依存した抜け道（ショートカット）を排除し、識別に働く唯一の弁別信号としてアイデンティティを分離します。この原理に基づき、NearIDデータセット（19Kのアイデンティティ、316Kのマッチした文脈ディストラクタ）と、厳密なマージンベースの評価プロトコルを提示します。この設定では、事前学習済みのエンコーダは性能が大きく低下し、厳密なマージンベースのアイデンティティ識別指標であるSample Success Rate（SSR）が30.7%まで低くなり、さらに真のクロスビュー一致よりもディストラクタを上位にランキングすることがしばしば起こります。私たちはこの問題に対し、凍結したバックボーン上でアイデンティティを意識した表現を学習することで解決します。具体的には、階層性を強制する二段階のコントラスト学習目的を用い、同一アイデンティティ > NearIDディストラクタ > ランダムなネガティブ、という順序の階層を守ります。これによりSSRは99.2%まで改善し、パート単位の識別性能は28.0%向上し、個別化のための人間整合ベンチマークであるDreamBench++において、人間の判断との整合性がより強く得られます。プロジェクトページ：https://gorluxor.github.io/NearID/