Seek-and-Solve：日常シーンにおける視覚的手がかり駆動の推論のためのMLLMベンチマーク手法

アブストラクト: 日常シナリオは視覚的な豊かさによって特徴づけられ、正確な推論のためにマルチモーダル大規模言語モデル（MLLM）には、ノイズをフィルタリングし、決定的な視覚的手がかりを特定することが求められます。しかし、現在のベンチマークは主に、MLLMの既存の知識や知覚の理解度を評価することを目的としており、推論という重要な能力を見過ごしていることが多いのが実情です。このギャップを埋めるために、日常シナリオにおける視覚的手がかり駆動の推論のためのベンチマークであるDailyClueを導入します。構築は2つの中核となる原則によって導かれています: （1）実際の毎日の活動への厳密な根拠付け、そして（2）表層的な知覚だけでは不十分であることを要求する、挑戦的なクエリ設計です。単純な認識ではなく、私たちの質問はMLLMに対して、適切な視覚的手がかりを能動的に探索し、その後の推論にそれらを活用することを促します。そこで、4つの主要な日常領域と16の異なるサブタスクにまたがる包括的なデータセットを厳選しました。MLLMおよびエージェント型モデルに対する包括的な評価は、私たちのベンチマークが突きつける難しさの大きさを裏付けています。分析の結果、いくつかの重要な洞察が得られました。すなわち、頑健な推論のためには、視覚的手がかりの正確な特定が不可欠であることを強調しています。