ドローン画像における熱帯樹木種分類でのスケール間表現ギャップを理解する

概要: 単独飛行体（UAV）画像からの熱帯樹木種の正確な分類は、種の多様性が高いことや、典型的な画像解像度（1画素あたり数センチメートル）における種間の強い視覚的類似性のため、依然として困難です。これに対して、スマートフォンで撮影された市民科学のクローズアップ写真で訓練したモデルは、植物種の分類において高い性能を示します。近年のUAVデータ取得の進歩により、空中の俯瞰画像と空間的に位置合わせされたクローズアップ画像を収集できるようになり、スマートフォン写真に見られるレベルの視覚的詳細に近づいています。ただし、その代償として、そのような高解像度の写真は多くの樹木について取得できません。本研究では、種が豊富な熱帯林で収集された、対応付けられた俯瞰（top-view）およびクローズアップのUAV画像を用いて、既存手法の性能を評価します。微調整（fine-tuning）の実験により、視覚基盤モデルと領域内汎用の植物認識モデルの間の性能ギャップを、両方の画像タイプ（高解像度クローズアップ画像と、より粗い解像度の俯瞰画像）にわたって定量化します。クローズアップ画像では俯瞰空中画像よりも分類性能が一貫して高く、さらに希少種ではその性能ギャップが拡大することを示します。最後に、これら2つの空間スケール間での自己教師あり表現整合（self-supervised representation alignment）によって、俯瞰UAV画像に基づく樹冠（canopy）レベルの種分類モデルへ微細な視覚情報を統合するための有望なアプローチが得られることを提案します。高解像度のクローズアップUAV画像を活用して樹冠レベルでの種分類を強化できれば、熱帯林の生物多様性の大規模モニタリングを大幅に改善できる可能性があります。