TaxaAdapter: 生命の樹（Tree of Life）をまたぐきめ細かな画像生成において、ビジョン分類モデルが鍵となる

Abstract

「生命の樹（Tree of Life）」全体にわたって画像を正確に生成することは困難です。地球上には10,000万種以上の異なる種があり、その多くは微妙な視覚的特徴だけで区別されます。テキストから画像への合成において目覚ましい進歩があったにもかかわらず、既存のモデルは、出力が写真のように見える場合でさえ、種の同一性を定義する細かな視覚的手がかりを捉えきれていないことが多いです。そこで本研究では、BioCLIP のような Vision Taxonomy Models（VTMs）を用いて細粒度の種生成を導く、シンプルで軽量な手法である TaxaAdapter を提案します。本手法は、凍結したテキストから画像への拡散モデルに VTM 埋め込みを注入し、ポーズ、スタイル、背景といった属性に関する柔軟なテキスト制御を維持しつつ、種レベルの忠実度を向上させます。大規模な実験により、TaxaAdapter は強力なベースラインに比べて、形態の忠実度および種同一性の精度を一貫して改善することが示されました。さらに、よりクリーンなアーキテクチャと訓練手順を備えています。これらの改善をより良く評価するために、生成画像と実画像から得られた形質レベルの記述を要約する、マルチモーダルの Large Language Model ベースの指標も新たに導入します。これにより、形態的一貫性をより解釈しやすい形で測定できます。加えて、TaxaAdapter は優れた汎化能力を示し、学習画像が数枚しかない few-shot の種や、学習中に見たことのない種といった難しい設定でも種の合成が可能です。全体として、本結果は、VTMs がスケーラブルで細粒度な種生成における重要な構成要素であることを強調しています。