PCA-Seg: オープンボキャブラリのセマンティックおよびパーツセグメンテーションにおけるコスト集約の再検討

要約: 視覚と言語モデル（VLMs）の最近の進展は、オープンボキャブラリの意味論と部位セグメンテーション（OSPS）に対して大きな注目を集めている。しかし、従来の手法は、コストボリュームから画像とテキストの整合性の手掛かりを、空間的およびクラスレベルの集約という直列構造を通じて抽出するため、クラスレベルの意味論と空間文脈の間で知識の干渉が生じる。したがって、本論文は上述の課題を緩和するために、単純でありながら効果的な並列コスト集約（PCA-Seg）パラダイムを提案し、コストボリュームからの視覚と言語の整合情報をより豊かに捉えられるようにする。具体的には、意味的および文脈的ストリームを効率的に統合する、専門家主導の知覚学習（EPL）モジュールを設計します。これには複数の観点から補完的な特徴を抽出するマルチエキスパートパーサを組み込みます。さらに、各特徴のピクセル特異的な重みを適応的に学習する係数マッパーを設計し、補完的な知識を統一された頑健な特徴埋め込みへ統合できるようにします。さらに、意味的および文脈的ストリーム間の冗長性を緩和するための特徴直交化デカップリング（FOD）戦略を提案し、EPLモジュールが直交化された特徴から多様な知識を学習できるようにします。8つのベンチマークにおける広範な実験は、PCA-Segの各並列ブロックがわずか0.35Mパラメータを追加するだけで、OSPSの最先端性能を達成することを示しています。