翻訳の迷子：LVLMのジャッジは言語を越えて汎化できるのか？

要旨: 報酬モデルなどの自動評価器は、大規模な視覚言語モデル（LVLMs）のアラインメントと評価において中核的な役割を果たします。重要性が高まっているにもかかわらず、これらの評価器はほとんど例外なく英語中心のベンチマークでのみ評価されており、言語をまたいだ汎化がどれほど良好かという問題が未解決のまま残されています。この問題に答えるために、私たちは、複数言語かつマルチモーダルなジャッジモデル評価のための初の大規模ベンチマークであるMM-JudgeBenchを導入します。これには、類型論的に多様な25言語にまたがる60K超のペアワイズな選好（preference）インスタンスが含まれています。MM-JudgeBenchは、2つの相補的なサブセットを統合しています。すなわち、VL-RewardBenchを拡張した一般的な視覚言語の選好評価サブセットと、OpenCQAから派生した、チャート中心の視覚テキスト推論サブセットです。これにより、多様な設定にわたって報酬モデル（すなわちLVLMジャッジ）を体系的に分析できるようになります。さらに、ドメイン適応を支援するために、評価データとは非重複のMM-RewardBench由来の多言語トレーニングセットも公開します。22のLVLM（15のオープンソース、7のプロプライエタリ）を評価することで、提案するベンチマークにおいて大きな言語間パフォーマンスのばらつきを明らかにします。加えて分析から、モデルのサイズやアーキテクチャは多言語の頑健性の乏しい予測因子であり、最先端のLVLMジャッジでさえ言語間で一貫しない振る舞いを示すことがわかります。これらの知見は、現在の報酬モデリングの本質的な限界を露呈するとともに、信頼できる自動評価器を開発するために多言語かつマルチモーダルなベンチマークが必要であることを強調しています。