どうやら、無料ランチが少しずつ削られてきていて、少なくとも同程度の提供をしない（ある種のOSモデル提供者がそうなっている）気配があるように見えます。とはいえ、まあ公平に言って当然の面もあるのですが、ここにいる皆さんは、ローカルモデルの安定性、プライバシー、そして正直に言うとクールさ／楽しさを重視しているはずです。

コミュニティが分散型トレーニングのための仕組みを成長させるうえで、大きな障壁は何でしょうか？

いくつか思い当たるものはあります……。

GPUのブランド不一致

NvidiaはCUDAに関しては間違いなく最強ですが、分散型の計算を活用するには、ブランドに依存しないフレームワークが必要になるでしょう。たとえばVulkanですかね。Vulkanが学習にとってひどいものなのも分かっています。

データのキュレーションと品質

さまざまなタスクにまたがる形で、私たち自身でデータセットを作り、PIIをスクラブし、品質を確認する必要があります。そのためには、そのタスクに関する専門家が必要になるでしょう。さらに、そのデータを保存する場所を見つけ、上記のキュレーション、PII削除、品質チェックなどの他のすべての課題に対するプロセスを構築しなければなりません。

分散型コンピュートの利用

上の2つが解決できると仮定すると、データをチェックポイントするために、高いレイテンシで小規模な計算環境を使う必要があり、またECCがないことが悪影響を及ぼすかもしれません。さらに、作業をどう切り分けるのか、そしてGPUの稼働状況が不揃いであることにどう対処するのか、そのやり方がそもそも私には想像できません。

どのタイプのモデルを作るかを定義する

おそらく、超ユーザーは400B+を求めるでしょう。基準としてそれを蒸留元にするのは妥当なように見えますが、一方で、コミュニティは、作ってほしい範囲である30B〜200Bの間に強く割れるかもしれません。

実際にトレーニング方法を知っている人を集める

これらはどれも大変そうに見えますが、それでももっと議論されるべきだと思います。というのも、この無料ランチがいつまでも続くとは期待できないので、コミュニティ主導でそれが実現できる可能性があるかどうかを見てみるべきだと思うからです。

何か考えはありますか？ 私もきっと、もっと多くの問題や課題を見落としているでしょうし、何かを誤解している可能性もあります。