生物画像に対する自動的な画像レベル形態学的特徴アノテーション

要旨: 形態学的特性とは、生物学的な生物の物理的特徴であり、生物が環境とどのように相互作用するかに関する重要な手がかりを与えます。しかしながら、これらの特性を抽出する作業は依然として遅く、専門家主導のプロセスであるため、大規模な生態学的研究での利用が制限されています。主要なボトルネックは、生物画像を特性レベルの注釈に結び付ける高品質なデータセットの不在です。本研究では、基盤モデルの特徴量で学習した疎オートエンコーダが、単一意味性を持ち、かつ空間的に根ざしたニューロンを生み出し、意味のある形態学的部位に対して一貫して活性化することを示します。この性質を活用し、顕著な領域を局在化する特性注釈パイプラインを導入し、さらに視覚言語プロンプトを用いて解釈可能な特性記述を生成します。このアプローチにより、BIOSCAN-5M からの 19K 枚の昆虫画像を対象に、80K の特性注釈からなるデータセット Bioscan-Traits を構築しました。人手による評価により、生成された形態学的記述の生物学的妥当性が確認されています。包括的なアブレーションスタディにより設計の感度を評価し、主要な設計上の選択肢を体系的に変化させ、それらが得られる特性記述の品質に与える影響を測定します。過度に高コストな手作業を禁じるのではなく、モジュール化されたパイプラインで特性を注釈することで、基盤モデルへ生物学的に意味のある監督を注入するためのスケーラブルな方法を提供し、大規模な形態学的解析を可能にし、生態学的な妥当性と機械学習の実用性のギャップを埋めます。