データ量を抑えた高速収束: マルチモーダル指示チューニングのための目標駆動データ最適化

要約: マルチモーダル指示チューニングは、トレーニング予算が非常に不均一な大規模な混在画像-動画プールに分散されるため、しばしば計算効率が悪い。私たちは Goal-Driven Data Optimization (GDO) を提案します。これは各候補について6つのサンプル記述子を計算し、異なる目的のための最適化された 1× トレーニングサブセットを構築するフレームワークです。8つの H20 GPU を用いた固定の1エポックの Qwen3-VL-8B-Instruct のトレーニングと評価レシピの下で、GDO は Uni-10x ベースラインよりはるかに少ないトレーニングサンプルで、収束が速く、精度が高くなります。固定の512kサンプルの Uni-10x ベースラインと比較して、GDO は MVBench で 35.4k サンプル、VideoMME で 26.6k、MLVU で 27.3k、LVBench で 34.7k のサンプルで Uni-10x の参照値に到達し、精度をそれぞれ +1.38、+1.67、+3.08、+0.84 パーセンテージポイント改善します。この利得は MVBench と MLVU で最大であり、LVBench はより控えめに改善します。これは LVBench の超長尺動画設定と、そのベンチマークと短尺動画/画像優位のトレーニングプールとの不一致に一致しています。 MinLoss、Diverse、Temp、および Temp+ に渡って、より強い時間的強調は長尺動画理解の挙動を着実に改善します。全体として、GDO は固定のトレーニングプロトコルの下で、より少ないトレーニングサンプルでより速く収束を可能にする、目標駆動型のデータ最適化フレームワークを提供します。コードは https://github.com/rujiewu/GDO で利用可能です。