構造化された報酬によってビデオMLLMの一貫性を強化する

Abstract

マルチモーダル大規模言語モデル（MLLM）は、動画理解において目覚ましい進歩を遂げてきました。しかし、一見もっともらしい出力であっても、視覚的および時間的な基盤（グラウンディング）が不十分であることがしばしばあります。モデルは、物体の存在をでっち上げたり、不正確な属性を割り当てたり、繰り返しイベントを潰してしまったりしながら、それでも全体としては妥当なキャプションや回答を生成することがあります。私たちは、キャプションを支持する事実的主張および時間的主張に分解する構成的一貫性監査（compositional consistency audit）を通して、この失敗モードを研究します。そして、高レベルの予測が、実際には妥当な低レベルの根拠によって裏付けられているかどうかを調べます。トップダウンの監査の結果、正しい根となる関係（root relational）の主張であっても、多くの場合、属性や存在に関する信頼できる裏付けが欠けていることがわかりました。これは、標準的な文レベルの教師信号が、忠実な動画理解に対する弱い代理（proxy）にすぎないことを示しています。さらに、より良い整合を目的として強化学習（RL）に取り組む場合でも、標準的な文レベルの報酬は、特定のグラウンディング失敗を正確に局在化するには粗すぎることが判明します。これに対処するために、汎用的な文レベル報酬を、事実的単位と時間的単位から構築される構造化された報酬に置き換えます。私たちの学習目的は、次の3つの補完的な要素を統合します：（1）事実的な対象物・属性・関係に対する、インスタンスを意識したシーングラフ報酬。（2）イベントの順序付けと反復に対する時間的報酬。（3）階層的自己検証のための、動画に基づくVQA報酬。時間的、一般的な動画理解、および幻覚（ハルシネーション）志向のベンチマークにおいて、この目的はオープンソースのバックボーンで一貫した改善をもたらします。これらの結果は、構造化された報酬によるシェーピングが、より忠実な動画理解への実用的な手段であることを示唆しています。