弁別的なリレーショナル（関係）シグナルと適応的なセマンティック中心によって導かれる言語支援画像クラスタリング

Abstract

言語支援による画像クラスタリング（LAIC）は、視覚言語モデル（VLM）を用いて入力画像に追加のテキストを付加し、クラスタリング性能を向上させます。近年の進展にもかかわらず、既存のLAIC手法はしばしば2つの問題を見落としています。（i）各画像のために構築されるテキスト特徴が非常に類似しており、その結果クラス間の識別性が弱い。（ii）クラスタリング手順が、あらかじめ作成された画像-テキストの対応関係に限定されており、テキストモダリティをより有効に活用する可能性が制限されている。これらの問題に対処するために、補完的な2つの要素を備えた新しいLAICフレームワークを提案します。まず、クロスモーダルな関係を活用して、クラスタリングのためのより識別的な自己教師あり信号を生成します。これは、ほとんどのVLMの学習メカニズムと互換性があります。次に、プロンプト学習によりカテゴリーごとの連続的な意味中心を学習し、それによって最終的なクラスタリング割り当てを生成します。8つのベンチマークデータセットに対する大規模な実験により、本手法が最先端手法に比べて平均2.6%の改善を達成し、学習された意味中心が強い解釈可能性を示すことを確認しました。コードは補足資料で利用可能です。