意味論的に根拠づけられた監督による統一マルチモーダルモデルの整合性向上

要約: 統一マルチモーダルモデル（UMMs）は、統一されたモデリングフレームワークの中でマルチモーダルな理解と生成を統合する有望なパラダイムとして浮上しています。しかし、現在の生成トレーニング・パラダイムには固有の制限が存在します。私たちは Semantically-Grounded Supervision（SeGroS）、UMMsの粒度の不一致と監督の冗長性を解消するよう設計されたファインチューニングフレームワークを提示します。核となるのは、2つの補完的な監督信号を構築するための新しい視覚的グラウンディングマップを提案することです。まず、テキストプロンプトの希薄さを補うために意味論的ビジュアルヒントを定式化します。第二に、意味論的に根拠づけられた破損入力を生成して、再構成損失をコアなテキスト整合領域のみに限定することにより、マスキングベースのUMMsの監督を明示的に強化します。GenEval、DPGBench、CompBenchでの広範な評価は、SeGroSがさまざまなUMMアーキテクチャにおいて生成忠実度とクロスモーダル整合性を著しく向上させることを示しています。