BioVITA: 視覚・テキスト・音響を整列するための生物学データセット、モデル、およびベンチマーク

要旨: マルチモーダルデータから動物の種を理解することは、コンピュータビジョンと生態学の交差領域における新たな課題である。BioCLIPのような近年の生物学モデルは、種の同定のために画像とテキストによる分類学的情報との間で強い対応関係を示してきたが、音声モダリティの統合は未解決の問題として残っている。私たちは、生物学的応用のための新しい視覚-テキスト-音声アラインメント（整合）フレームワークであるBioVITAを提案する。BioVITAは、(i) 学習データセット、(ii) 表現モデル、(iii) 取得（リトリーバル）ベンチマーク、の3つから構成される。まず、14,133種を34の生態学的特性ラベルで注釈付けした大規模な学習データセットを構築し、1,300万の音声クリップと230万の画像を含める。次に、BioCLIP2に基づいて、音声表現を視覚およびテキスト表現と効果的に整合させるための2段階の学習フレームワークを導入する。第三に、3つのモダリティ間で考えられるあらゆる方向の取得をカバーするクロスモーダル取得ベンチマークを開発する（すなわち、画像→音声、音声→テキスト、テキスト→画像、およびそれらの逆方向） 。さらに、分類学的な3つのレベルとしてFamily（科）、Genus（属）、Species（種）を扱う。広範な実験により、私たちのモデルが、分類学を超えて種レベルの意味論を捉える統一された表現空間を学習できることが示され、マルチモーダルな生物多様性理解を前進させる。このプロジェクトページは以下で利用可能: https://dahlian00.github.io/BioVITA_Page/