MIBench: 大規模マルチモーダルモデルにおける多モーダル相互作用の評価

要旨: 異なるマルチモーダルシナリオにおいて、タスクの要求に基づいて、モダリティ間の情報を特定の方法で統合・活用する必要がある。モダリティ間の異なる統合方法は「マルチモーダル・インタラクション」と呼ばれる。モデルがさまざまなマルチモーダル・インタラクションをどの程度うまく処理できるかが、そのマルチモーダル能力を大きく特徴づける。本論文では、視覚とテキストの文脈を用いて各インスタンスを (con_v , con_t, task) のトリプレットとして定式化し、LMMsがタスクを効果的に完了するために正しい形のマルチモーダル・インタラクションを用いることを要求する、マルチモーダル・インタラクション能力を評価する包括的ベンチマークであるMIBenchを提案する。MIBenchは、視覚中心の手掛かりまたはテキスト中心の手掛かりから情報を取り出す能力、そしてそれらの共同の相乗効果から新しい情報を生成する能力という3つの重要な側面からモデルを評価する。各インタラクション能力は、認識、理解、推論の3つの認知レベルに階層的に評価される。MIBenchは、32の異なるタスクにわたる10,000を超える視覚-テキスト文脈ペアから構成されている。最先端のLMMの評価は次のようなことを示している： (1) モデルパラメータとトレーニングデータ量の拡大にもかかわらず、マルチモーダル・インタラクションに対するLMMの能力は依然として制約されたままである； (2) 視覚情報を処理する際、彼らはテキストモダリティによって容易に注意がそらされる； (3) 彼らは概ねマルチモーダル・シナジーの基本的な能力を有している； (4) ネイティブに訓練されたマルチモーダルモデルは、基本的なインタラクション能力に顕著な欠陥を示している。これらの観察結果が、将来より高度なマルチモーダル能力を備えたLMMを開発する際の指針となることを期待する。