RefereeBench：動画MLLMはマルチスポーツの審判になれるのか

要旨: マルチモーダル大規模言語モデル（MLLM）は汎用的な動画理解に優れている一方で、専門的でルールに根ざした意思決定を支援する能力は、十分に検討されていません。本論文では、MLLMを自動スポーツ審判として評価するための初の大規模ベンチマークであるRefereeBenchを提案します。11種目にまたがり、925本の厳選動画と6,475件のQAペアを収録したRefereeBenchは、5つの中核的な審判能力――反則の存在、反則とペナルティの分類、反則とペナルティの推論、エンティティ知覚、そして時間的根拠（temporal grounding）――を評価します。このベンチマークは、真正な審判ロジックとマルチモーダルな証拠に根ざした高品質な注釈を保証するため、完全に人手で注釈付けされています。最先端のMLLMに対する広範な評価により、Doubao-Seed-1.8やGemini-3-Proのような最も強力なモデルでさえ、精度はおよそ60%にとどまる一方で、最強のオープンソースモデルであるQwen3-VLは47%にしか到達していないことが示されます。これらの結果は、現在のモデルが信頼できるスポーツ審判に程遠いことを示唆しています。さらに分析すると、モデルはしばしば出来事や関与するエンティティを特定できる一方で、ルールの適用と時間的根拠に苦戦しており、通常のクリップに対しても反則を過剰に呼び出すことが多いことが分かります。本ベンチマークは、今後のMLLMが領域知識とマルチモーダル理解をより適切に統合する必要性を浮き彫りにし、信頼できるAI支援審判と、より広範なマルチモーダル意思決定の発展につながることを示しています。