3D-LENS：単一視点の空中・地上再識別のための3Dリフティングに基づくエレベーテッド新規視点合成手法

要旨: 空中-地上の再識別（AG-ReID）は、視点ドメインのギャップによって制約されます。大きな視点の違いによって弁別的な特徴が隠されたり歪められたりするため、異なる視点間の画像検索が困難になります。既存の手法は、ペアとなる異視点の注釈に依存することが多いものの、野生の捜索救助（SAR）のような実環境での展開では、対象ドメインのデータが欠けていることが通常であり、地上レベルの参照画像だけから検索を行う必要があります。私たちの知る限り、この課題に初めて取り組むのが、単一視点AG-ReID（SV AG-ReID）設定を定式化することにより達成されます。この設定では、単一の実視点で学習したモデルが、未見の視点へと一般化しなければなりません。私たちは、3Dリフティングベースの高精度な新規視点合成（3D-LENS）を提案します。これは、 大規模な3Dメッシュ再構成を活用した幾何学的に整合する新規視点合成と、合成から実データへのバイアスを軽減するための堅牢な表現学習手法とを統合した統一的フレームワークです。幾何学的不整合に悩まされる2D生成のベースラインや、クラス固有テンプレートに制限されている従来の3D手法とは異なり、私たちのアプローチは、携行物のような微細な詳細を捉えられない事前定義のテンプレートなしで、幅広いカテゴリにわたって視点整合性のある合成を保証します。大規模な実験の結果、私たちの手法はSV AG-ReIDのシナリオにおいて先端（state-of-the-art）の性能を達成することが示されました。コードとデータは https://github.com/TurtleSmoke/3D-LENS で公開予定です。