UAV画像から農学的推論へ：植物フェノタイピングのためのマルチモーダルLLMベンチマーク

要旨: 作物の遺伝学を改善するためには、高スループットで効果的かつ包括的な表現型（フェノタイピング）が重要な前提条件となる。こうした作業は従来、手作業で行われてきたが、近年のマルチモーダル基盤モデル、特にビジョン・ランゲージ・モデル（VLMs）の進歩により、より自動化され、頑健な表現型解析が可能になってきた。しかし、植物科学は基盤モデルにとって特に難しい領域である。なぜなら、そこでは、ドメイン固有の知識、きめ細かな視覚の解釈、そして複雑な生物学的ならびに農学的推論が必要とされるからである。このギャップを埋めるために、我々は、大豆および綿の表現型（フェノタイピング）のための、証拠に基づくマルチモーダル推論ベンチマークであるPlantXpertを開発する。我々のベンチマークは、VLMの農学的適応のための、構造化され再現可能な枠組みを提供し、基盤モデルと、それらのドメイン適応版との間の制御された比較を可能にする。データセットとして、385枚のデジタル画像と、病害、害虫防除、雑草管理、収量といった主要な植物科学領域にまたがる3,000件超のベンチマークサンプルを構築した。このベンチマークは、視覚的専門性、定量的推論、多段階の農学的推論など、多様な能力を評価できる。合計11の最先端VLMが評価された。結果は、タスク固有の微調整により精度が大幅に向上することを示しており、Qwen3-VL-4BやQwen3-VL-30Bのようなモデルは最大で78%を達成した。同時に、モデル規模のスケーリングによる利得は、一定の能力を超えると減少し、大豆と綿にまたがる一般化は一様ではなく、定量的でありかつ生物学的に根拠づけられた推論は引き続き大きな課題として残っている。これらの知見は、PlantXpertが、証拠に基づく農学的推論の評価のための基盤となり、植物科学におけるマルチモーダル・モデル開発を前進させるための土台として機能し得ることを示唆している。