STEAR：動画大規模言語モデルにおける幻覚抑制のためのレイヤー対応型時空間エビデンス介入

要旨: 動画の大規模言語モデル（Video-LLMs）は、時空間的な幻覚（spatiotemporal hallucinations）を依然として起こしやすく、しばしば視覚的に裏付けのない詳細を生成したり、誤った時間的関係を示したりします。既存の対策手法は通常、幻覚を一様なデコード失敗として扱い、グローバルに共有された補正ルールを一律に適用します。これに対し本研究では、デコーダ層が視覚的な基底付け（visual grounding）と、後段の言語的合成（linguistic composition）において異なる寄与をしていることを観察し、介入は層を意識した（layer-aware）ものであるべきだと示します。この洞察に基づき、層を意識した時空間エビデンス介入フレームワークであるSTEARを提案します。STEARは高リスクなデコード手順を特定し、基底付けに敏感な中間層から、トークン条件付きの視覚エビデンスを選択します。さらに、この共有エビデンスを2つの結び付いた目的に用います。すなわち、中間層における欠落した局所的な基底付けを復元すること、そして、後段層のデコード中に矛盾した推論を否定（falsify）するために、時間的に摂動を加えたパッチレベルの反事実（counterfactuals）を構築することです。その結果、STEARは効率的な単一エンコードの推論フレームワーク内で、空間的および時間的の両方の幻覚を軽減します。代表的なVideo-LLMバックボーンと、困難なベンチマークにわたる実験により、STEARが一貫して幻覚を低減しつつ、忠実性（faithfulness）、時間的一貫性（temporal consistency）、および頑健性（robustness）を向上させることが示されます。これらの結果は、信頼できる動画デコードは、グローバルなペナルティを課すのではなく、適切な層において正確なエビデンスに介入することに依存していることを確認します。コードは補足資料に掲載されています。