半教師ありビジョン言語学習のためのトポロジー情報を考慮した表現アラインメント

Abstract

視覚言語モデルは高い性能を示しているものの、専門的な領域に対してはしばしば汎化がうまくいきません。半教師ありの視覚言語学習は、ごく少数のラベル付き画像-テキスト対と大量のラベルなし画像を併用することでこの制限を緩和しますが、既存手法は本質的に対（pairwise）の枠組みにとどまっており、多モーダル表現マニフォールドのグローバルな構造をモデル化できていません。既存のトポロジーに基づくアラインメント手法は永続図（persistance diagram）のマッチングに依存しており、幾何学的なアラインメントを保証せず、また視覚言語学習の中核である画像-テキスト対の情報も活用していません。私たちは、永続ホモロジーを用いてトポロジー的に重要なエッジを同定し、利用可能なクロスモーダル対応関係を通じてモダリティ間でそれらを整列（アライン）させる枠組みである、Topology-Aware Multimodal Representation Alignment（ToMA）を提案します。ToMAは、H_0-death エッジと軽量な H_1-birth エッジの両方を活用することで、2-単体（2-simplices）を構築することなく、接続性とサイクル構造の両方を捉えることができます。実験の結果、ToMAは安定した向上をもたらし、リモートセンシングで明確な改善が見られ、さらにファッション検索でも控えめではあるものの一貫した有益性が示されました。追加分析により、ToMAは他のトポロジーに基づく目的関数よりも安定であり、また軽量な H_1-birth エッジが有用な高次の構造シグナルを提供することが分かりました。