MINOS：画像とテキスト間の双方向生成を評価するマルチモーダル評価モデル

要旨: マルチモーダル生成タスクにおいては評価が重要ですが、従来のマルチモーダル評価指標にはいくつかの制限があります。MLLMの急速な進歩に伴い、MLLMを適用して一般的な評価システムを構築することへの関心が高まっています。しかし、既存の研究はしばしば単に大規模な評価データを収集して学習に用いるだけであり、評価データの品質を見落としています。さらに、現在提案されている評価モデルは、画像からテキスト（I2T）とテキストから画像（T2I）の両方のタスクにわたって、常に強力な性能を一貫して達成することに苦戦することが多いです。本論文では、厳密な品質管理戦略により、Minos-57Kという包括的なマルチモーダル評価データセットを構築します。これは15のデータセットにまたがる評価サンプルを含み、SFT（教師あり微調整）および選好整合（preference alignment）学習戦略を用いてマルチモーダル評価モデルMinosを開発するためのものです。注目すべき点として、本モデルは先行研究の学習データ規模の半分未満を用いているにもかかわらず、I2TおよびT2Iの両タスクをカバーする16のドメイン外データセットにおいて、公開されているマルチモーダル評価モデルの中で最先端の評価性能を達成し、クローズドソースのモデルとも競争力を維持しています。大規模な実験により、品質管理プロセスを活用すること、ならびにI2TとT2I生成タスクの両方から得られる評価データで共同学習すること、さらに選好整合を行うことの重要性が示されます。