重要なものを学ぶ：解釈可能なビジョン・ランゲージ報酬モデリングのための動的な次元選択と集約

Abstract

視覚言語報酬モデリングにはジレンマがあります。生成的アプローチは解釈可能ですが遅く、一方で識別的アプローチは効率的ですが、扱いができない「ブラックボックス」として振る舞います。このギャップを埋めるために、本研究ではVL-MDR（Vision-Language Multi-Dimensional Reward）を提案します。これは評価をきめ細かい、解釈可能な次元へ動的に分解する枠組みです。単一のスカラー出力を行うのではなく、VL-MDRは視覚に配慮したゲーティング機構を用いて、関連する次元を特定し、各入力に応じてそれらを適応的に重み付けします（例：幻覚、推論）。これを支えるために、細粒度の21次元にわたって注釈を付けた321k件の視覚言語嗜好ペアから成るデータセットを構築しました。大規模な実験の結果、VL-MDRはVL-RewardBenchのようなベンチマークで、既存のオープンソース報酬モデルに対して一貫して優れた性能を示すことが分かりました。さらに、VL-MDRで構築した嗜好ペアは、視覚的な幻覚を抑制し、信頼性を向上させるためのDPOアライメントを効果的に可能にすることを示します。これは、VLMのアライメントに対してスケーラブルな解決策を提供します。