RealBirdID：MLLM時代の鳥類種同定のベンチマーク

概要: 自然環境下における鳥のきめ細かな種の識別は、単一の画像だけからはしばしば答えられません。重要な手がかりは非視覚的である場合（例：鳴き声）がありますし、遮蔽（オクルージョン）、カメラの角度、あるいは低解像度によって見えなくなっていることもあります。しかし、今日のマルチモーダル・システムは通常、答えられる（in-schemaな）ケースで評価されるため、筋の通った棄権（abstention）よりも自信のある推測が促されがちです。私たちは RealBirdID ベンチマークを提案します。鳥の画像が与えられたとき、システムは種を回答するか、あるいは具体的で根拠に基づく理由を添えて棄権すべきです。たとえば「鳴き声が必要」「画質が低い」「視界が遮られている」といった理由です。各属（genus）について、データセットにはラベル付きの理由（rationale）を伴う、キュレーションされた答えられない例で構成された検証分割と、明確に答えられるインスタンスの付随セットが含まれます。私たちは以下を見出しました。(1) 答えられるセットにおける種の識別は、多種多様なオープンソースおよび商用のモデルにとって難しく（GPT-5 や Gemini-2.5 Pro を含む MLLM で 13% 未満の精度）、(2) より分類能力の高いモデルが、答えられない例に対して棄権する点で必ずしもより適切に較正（calibrated）されているとは限らず、(3) MLLM は、棄権した場合でさえ、正しい理由を提示することに概して失敗します。RealBirdID は、棄権を考慮したきめ細かな認識に対する焦点を絞った目標を確立するとともに、進捗を測定するための手順（レシピ）を提供します。