テキスト優勢を超えて：オムニモーダル大規模言語モデルのモダリティ選好の理解

概要: ネイティブ・オムニモーダル・大規模言語モデル（OLLMs）は、パイプライン型のアーキテクチャから統一された表現空間へと移行してきました。しかし、このネイティブ統合は、重大であるにもかかわらず十分に検討されていない現象を生み出します。それが「モダリティ嗜好」です。このギャップを埋めるために、まず、新たにキュレーションした対立（conflict）ベースのベンチマークと、モダリティ選択率（modality selection rate）という指標を用いて、OLLMのモダリティ嗜好を体系的に定量化します。10個の代表的なOLLMを評価した結果、顕著なパラダイムシフトが明らかになりました。従来のVLMに見られる「text-dominance（テキスト優位）」とは異なり、ほとんどのOLLMは明確な視覚的嗜好を示します。さらに、基盤となるメカニズムを理解するために、層ごとのプロービングを行い、そのようなモダリティ嗜好が静的なものではなく、中盤から終盤の層で徐々に現れてくることを示します。これらの知見に基づき、内部シグナルを活用してクロスモーダル幻覚（cross-modal hallucinations）を診断し、タスク固有データを用いないまま3つの下流のマルチモーダルベンチマークで競争力のある性能を達成します。本研究は、メカニズムに関する理解と、より信頼できるOLLMを構築するための実用的なツールの両方を提供します。コードおよび関連リソースは公開されています: https://github.com/icip-cas/OmniPreference