AgriChat: 農業画像理解のためのマルチモーダル大規模言語モデル

要約: 多モーダル大規模言語モデル（MLLMs）を農業に適用することは、現状、重要なトレードオフのため停滞しています。既存の文献は堅牢なモデル開発と評価に必要な大規模な農業データセットを欠き、同時に最先端のモデルは多様な分類体系を横断して推論するために必要な検証済みの専門知識を欠いています。これらの課題に対処するため、Vision-to-Verified-Knowledge（V2VK）パイプラインを提案します。これは視覚キャプション生成とウェブを活用した科学情報検索を統合し、自律的にAgriMMベンチマークを生成する新規の生成AI駆動アノテーションフレームワークであり、訓練データを検証済みの植物病理学文献に根拠づけることで生物学的幻覚を効果的に排除します。AgriMMベンチマークには3,000を超える農業クラスと60万7千を超えるVQAが含まれ、微細な植物種識別、植物病害の症状認識、作物の個体数カウント、熟度評価など複数のタスクにまたがります。この検証可能なデータを活用して、AgriChatを提示します。AgriChatは数千以上の農業クラスにわたる広範な知識を示し、広範な説明を伴う詳細な農業評価を提供する専門的なMLLMです。多様なタスク、データセット、評価条件における広範な評価は、現行の農業MLLMの能力と限界を明らかにすると同時に、AgriChatが内部および外部ベンチマークを含む他のオープンソースモデルより優れた性能を示すことを実証します。結果は、視覚的ディテールを維持しつつウェブ検証済みの知識と組み合わせることが、堅牢で信頼できる農業AIへの信頼できる道であることを裏付けます。コードとデータセットは以下で公開されています：https://github.com/boudiafA/AgriChat