昨日、Unslothの開発者が実際に r/unsloth で私の質問に返信してくれて、unloth studio でのMLXファインチューニング対応は来月の早い時期に入る見込みだと確認しました。もし彼らがこれをきちんと仕上げて正しく出してくれたら、MacBookやMac StudioでローカルAIをやっている人にとってはかなり大きな出来事になりそうです。
これまでのところ、Apple Siliconの私たちは主に推論と、ややこしいmlxのトレーニングデモに縛られてきました。適切なトレーニングやファインチューニングが、このマシンたちにおける「欠けている層」だとずっと感じていて、それはとても残念です。これらのマシンは、生の統合メモリと効率性をこれでもかというほど詰め込んでいるのに。
うまく着地すれば、本当にエンドツーエンドのローカル・ワークフローを解放できる気がします。
もちろん、これは、大規模なトレーニングのための本格的なNVIDIA環境を突然置き換えるものではありません。面白いのは、現実的にローカルでできることがどれだけ増えるか、そこにあります。クラウドの計算リソースへの依存が減って、ただ作って試す自由が一段と増えるはずです。
個人的には、2× M3 Ultra 96GB のマシンを動かしているので、実際にどうなるのか特に楽しみです。もしUnslothがこれをスムーズにし、本当に使えるものにしてくれるなら、ローカルAIの分野にいる多くの人が待ち望んでいながら、完全にはそれだと気づけていなかったようなアップデートの一つになりそうです。
みなさんはどう思いますか。これを、MacでのローカルAIにとって本当のブレイクスルーだと見ますか？それとも、紙の上ではワクワクするけれど、日常の使い方はあまり変わらないタイプのものですか？
[link] [comments]
