創業者効果がオープンLLMファミリーにおける多モーダル性の進化ダイナミクスを形作る

要旨: 大規模言語モデル（LLM）ファミリーは急速に進歩しているが、オープンなファミリー内でマルチモーダル能力がどれほどの速さで出現し、伝播していくのかは依然として不明である。Hugging Faceのモデルメタデータおよび記録された系譜（lineage）フィールドからなるModelBiome AIエコシステムデータセット（>1.8×10^6件のモデルエントリ）を用いて、マルチモーダル性を時系列および記録された親（parent）から子（child）への関係に沿って定量化する。より広いエコシステムの中では、クロスモーダル課題は主要なオープンLLMファミリーで一般化するよりもはるか前から広く存在する。これらのファミリー内では、マルチモーダル性は2023年までおよび大半の2024年を通じてまれであり、その後2024-2025年にかけて急激に増加し、画像-テキストのビジョン言語タスクによって支配される。主要なファミリー全体では、最初のビジョン言語モデル（VLM）バリアントは、最初のテキスト生成リリースの数か月後に現れるのが典型的であり、ラグは約1か月（Gemma）から複数のファミリーで1年以上、さらにGLMでは約26か月である。系譜に条件付けされた移行（transition）率は弱いクロス型転移を示す。すなわち、テキスト生成の親からの微調整エッジのうち、VLMの子孫を生むのはわずか0.218%である。代わりに、マルチモーダル性の拡大は主として既存のVLM系統の中で起こる。VLMの子に対する微調整エッジの94.5%はVLMの親に由来し、テキスト生成の親に由来するのは4.7%である。モデルレベルでは、ほとんどのVLMリリースは記録された親を伴わない新しいルーツとして現れる（約60%）。残りは主としてVLM由来である。創始者の集中（founder concentration）分析は、系統内での急速な増幅の後に多様化が続くことを示唆する。これらの結果を総合すると、マルチモーダル性はオープンLLMファミリーへ、稀な創始者イベントを通じて入り、その後は子孫系統の中で急速に拡大することが分かる。このことは、マルチモーダル能力に対して転移が制限されるスケーリング挙動を引き起こす可能性がある、断続的な採用（adoption）ダイナミクスをもたらす。