MLLMを用いた360°画像知覚: 総合ベンチマークと訓練不要の手法

要約: 多モーダル大規模言語モデル（MLLMs）は、従来の画像を理解し推論する能力で顕著な成果を示してきました。しかし、360度画像に対する彼らの認識はまだ十分に探究されていません。従来の画像とは異なる360度画像は、周囲の環境全体を捉え、全体的な空間推論を可能にしますが、幾何歪みや複雑な空間関係といった課題を生み出します。360度画像を認識するMLLMの能力を包括的に評価するため、360Benchを導入します。これは7K解像度の360度画像、7つの代表的な（サブ）タスク、および人間のアノテータによって慎重に作成・選定された注釈を特徴とする視覚質問応答（VQA）ベンチマークです。360Benchを用いて、7つのMLLMと6つの改善手法を系統的に評価し、360度画像認識におけるそれらの欠点を明らかにします。これらの課題に対処するため、Free360を提案します。高解像度の360度VQAのためのトレーニング不要なシーングラフベースのフレームワークです。Free360は推論プロセスをモジュール化されたステップに分解し、各ステップに合わせて360度画像に適応的な球面画像変換を適用し、得られた情報を回答生成のための統一されたグラフ表現へシームレスに統合します。実験結果は、Free360がベースのMLLMを一貫して向上させ、360度VQAタスクに対して強力なトレーニング不要の解決策を提供することを示しています。受理され次第、ソースコードとデータセットを公開します。