MARINER：開放水域環境におけるきめ細かな知覚と複雑な推論のための3E駆動ベンチマーク

Abstract

実世界の開放水域環境におけるきめ細かな視覚理解と高次推論は、専用ベンチマークの欠如により十分に探究されていません。私たちは、新しいEntity-Environment-Event（3E）パラダイムのもとで構築した包括的なベンチマークであるMARINERを導入します。MARINERには、63のきめ細かな船舶カテゴリを含むマルチソースの海事画像16,629枚、さまざまな有害な環境、そして5つの典型的な動的な海事インシデントが含まれており、きめ細かな分類、物体検出、視覚質問応答のタスクをカバーします。私たちは主要なマルチモーダル大規模言語モデル（MLLM）に対して大規模な評価を行い、ベースラインを確立しました。その結果、先進的なモデルでさえ、複雑な海洋シーンにおけるきめ細かな識別と因果推論に苦戦していることが明らかになりました。海事専用ベンチマークであるMARINERは、海事マルチモーダル理解における現実的かつ認知レベルでの評価というギャップを埋め、開放水域向けアプリケーションのための頑健な視覚言語モデルに関する今後の研究を促進します。付録および補足資料は https://lxixim.github.io/MARINER で利用可能です。