MixAtlas:マルチモーダルLLMの中間学習(midtraining)に向けた不確実性を考慮したデータ混合最適化

Apple Machine Learning Journal / 2026/4/16

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • MixAtlasは、マルチモーダルLLMが中間学習中に学習する方法を改善することを目的とした、不確実性を考慮したデータ混合(データミクスチャ)最適化手法を提案する。
  • このアプローチは、モデルの不確実性シグナルを用いてデータ混合の重みを調整し、学習が進むにつれてより有益または適したデータソースに学習の焦点を当てることを目指す。
  • 本研究はマルチモーダル設定を前提としており、(例:視覚と語学)異なる入力モダリティを組み合わせる学習レジメンへの適用可能性を示唆している。
  • MixAtlasは2026年4月に出版された研究論文として提示され、OpenReviewで公開されており、著者は複数の機関にまたがり共同研究者も含む。
  • 本貢献は、単にアーキテクチャや推論時の変更ではなく学習ダイナミクスを対象としているため、より強力なマルチモーダル表現学習を必要とする下流システムに対する波及効果が期待される。

本論文は、ICLR 2026におけるFoundation Models(NADPFM)を対象としたデータ課題のナビゲートおよび対処に関するワークショップで採択されました。

原理に基づくドメインの再重み付けは、サンプル効率および下流での汎化を大きく改善し得ます。しかし、マルチモーダル事前学習におけるデータ混合の最適化は、十分に研究されていません。現在のマルチモーダル学習レシピでは、データ形式やタスク種別といった単一の観点から混合比を調整しています。そこで我々は、ドメインの体系的な分解と小型のプロキシモデルを用いることで、計算効率の高いマルチモーダル混合最適化を実現する、原理に基づく枠組みMixAtlasを導入します…

この記事の続きは原文サイトでお読みいただけます。

原文を読む →