動きの中のへつらい：ビデオLLMにおけるシカンパシー（ご機嫌取り）をベンチマークで分析する

Abstract

動画大規模言語モデル（Video-LLMs）が、根拠に基づくマルチモーダル推論を要求する現実のアプリケーションにますます組み込まれていくにつれ、それらの事実整合性と信頼性を保証することが極めて重要になっています。しかし、迎合（sycophancy）—視覚的な証拠と矛盾しているにもかかわらず、ユーザー入力に合わせようとするこれらのモデルの傾向—は、そのような文脈における信頼性を損ないます。現在の迎合に関する研究は、動画言語領域におけるその具体的な現れ方を十分に見落としており、誤解を招くユーザー入力の下でVideo-LLMsがどのように応答するかを理解するための体系的なベンチマークや、対象を絞った評価の欠如が目立っています。このギャップを埋めるために、我々は、さまざまな質問形式、プロンプトのバイアス、視覚推論タスクにまたがって、最先端のVideo-LLMsにおける迎合的挙動を評価することを目的に設計された最初のベンチマークであるVISE（Video-LLM Sycophancy Benchmarking and Evaluation）を提案します。具体的には、VISEは、迎合に関する言語学的観点を動画領域へと先駆的に持ち込み、多様な迎合タイプや相互作用パターンにわたるきめ細かな分析を可能にします。さらに、迎合的バイアスを低減するための潜在的な道筋を示す、トレーニング不要の2つの潜在的な緩和戦略も提案します：（i）解釈可能なキーフレーム選択によって視覚的な根拠付けを強化すること、ならびに（ii）内部のニューラル表現に対する、推論時の標的介入によって、モデルの挙動を迎合から逸らすことです。コードは https://anonymous.4open.science/r/VideoSycophancy-567F で公開しています。