クロスモーダル表現のスペクトル幾何学について：マルチモーダル整合のための機能写像ダイアグノスティック

Abstract

計算幾何学の分野で用いられる機能写像（functional map）フレームワークを用いて、独立に事前学習された視覚エンコーダ（DINOv2）と、言語エンコーダ（all-MiniLM-L6-v2）との間のクロスモーダルアライメントを研究します。このフレームワークは、グラフラプラシアン固有ベース間におけるコンパクトな線形作用素として、表現マニフォールド間の対応関係を表現します。提案フレームワークは、クロスモーダル検索においてあらゆる監督（supervision）の予算に対して、プロクルステス（Procrustes）アライメントや相対表現（relative representations）より性能が劣る一方で、多モーダル表現に固有の構造的性質を明らかにします。2つのエンコーダのラプラシアン固有値スペクトルは定量的に非常に近いことを見出しました（正規化スペクトル距離 0.043）。これは、独立に学習されたモデルが、同等の内在的複雑さをもつマニフォールドを発達させていることを示します。しかし、機能写像は対角優勢がほぼゼロであること（平均が 0.05 未満）と、大きな直交性誤差（70.15）を示します。これは、固有ベクトルの基底が実質的に整列（アライメント）されていないことを意味します。私たちはこの分離を「スペクトル複雑さ—オリエンテーション・ギャップ」と呼びます。モデルは、どれだけの構造を捉えるかという点では収束するが、それをどのように配置（オーガナイズ）するかでは一致しないのです。このギャップは、スペクトル・アライメント手法に対する境界条件を定義し、クロスモーダル表現の適合性を特徴づけるための3つの診断量、すなわち対角優勢、直交性偏差、ラプラシアン可換性誤差を動機づけます。