DistortBench：画像の歪み（歪みタイプ/重症度）を識別するためのビジョン・ランゲージ・モデル用ベンチマーク

概要: 画像の低レベルな劣化への感度が重要となる領域で、視覚言語モデル（VLM）がますます使われるようになっています。内容のモデレーション、画像復元、品質モニタリングなどがその例です。しかし、歪みの種類と深刻度を認識する能力は、いまだ十分に理解されていません。私たちは、VLMにおける参照なし歪み知覚のための診断用ベンチマーク「DistortBench」を提案します。DistortBenchは、27種類の歪み、6つの知覚カテゴリ、5つの深刻度レベルをカバーする4択問題13,500問から成ります。内訳として、25の歪みはKADID-10kの校正に継承されており、追加された2つの回転歪みは単調な角度ベースのレベルを用いています。私たちは、5つのファミリからの17のオープンウェイトモデルと、1つのプロプライエタリモデルを含む合計18のVLMを評価します。高レベルの視覚言語タスクでは強い性能を示す一方で、最良のモデルでも精度は61.9%にとどまり、人間の多数決ベースライン65.7%をわずかに下回ります（平均個別: 60.2%）。これは、現在のVLMにおける低レベルの知覚理解が依然として大きな弱点であることを示しています。さらに私たちの分析では、モデルサイズに対する弱く単調でないスケーリング、ほとんどのベース思考ペアでの性能低下、そしてモデルファミリごとの異なる深刻度に対する応答パターンが明らかになりました。私たちは、DistortBenchがVLMにおける低レベルの視覚知覚を測定し、改善するための有用なベンチマークとして機能することを期待しています。