マルチモーダル推論モデルの強化学習によるポストトレーニングにおける幻覚の役割を理解する

arXiv cs.LG / 2026/4/6

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、強化学習（RL）のポストトレーニングがマルチモーダル大規模言語モデル（MLLM）にどのように影響するかを調査し、特に改善が本当に視覚情報からの学習を反映しているのかどうかを検討します。
「幻覚-as-キュー（Hallucination-as-Cue）フレームワーク」を導入します。これは、幻覚誘導的な、モダリティ固有の破壊（corruptions）によって重要な視覚情報を除去または置換し、モデルが答えるために“幻覚”に依存せざるを得ないようにするものです。
複数のマルチモーダル推論ベンチマークにわたる実験から、幻覚は、先行研究が想定していたよりもRL学習ダイナミクスにおいて重要な役割を果たすことが示唆されます。
著者らは、幻覚を誘発するように設計された設定下でも、RLポストトレーニングによって推論が改善し、場合によっては標準的な（RLを行わない）トレーニングの性能を上回ることを見出します。
これらの結果は、RLポストトレーニング中にMLLMがどのように学習するかについての従来の前提に挑戦し、モダリティにより配慮したRLトレーニング設計の必要性を動機づけます。

Abstract

大規模推論モデルにおける強化学習（RL）の最近の成功は、視覚的推論能力を強化するための事後学習（post-training）マルチモーダル大規模言語モデル（MLLMs）に対するRLの採用が拡大することに拍車をかけている。多くの研究が性能の向上を報告している一方で、RL学習が本当にモデルに視覚情報から学習させることを可能にするのかは、なお不明である。本研究では、モデルのハルシネーション（幻覚）という観点から、RLベースの事後学習がマルチモーダル推論モデルに与える影響を調べることを目的とした分析フレームワークであるHallucination-as-Cue Frameworkを提案する。具体的には、正しい解答を導くために必要な本質的情報を除去または置換する、ハルシネーション誘導（hallucination-inductive）、モダリティ固有の破壊（corruptions）を導入し、それによってモデルにハルシネーションによる推論を強制する。学習と評価の両方の段階でこれらの破壊を適用することで、本フレームワークは、RL学習ダイナミクスの診断と、データセットの固有の性質を理解するための独自の視点を提供する。複数のマルチモーダル推論ベンチマークにまたがる大規模な実験と分析を通じて、RL学習におけるモデルのハルシネーションの役割は、これまで認識されていた以上に重要であることを明らかにする。例えば、純粋にハルシネーション誘導の設定の下でのRL事後学習でも、モデルの推論性能を大きく向上させることができ、場合によっては標準的な学習をさえ上回ることを見出す。これらの知見は、MLLMの推論学習に関する従来の前提に挑戦するものであり、モダリティをより意識したRLベースの学習設計の開発を後押しするものである。