mDNS＋ZeroConfでローカルLLMの分散学習をより簡単に：ローカル端末向け

smolcluster に grove を統合したところ、本当にいちばん綺麗にまとまったインフラの一つだと思った。俺がつないだ中でね

• grove は、すごく頭のいい人が作ったパッケージで、ゼロ設定でのノード検出を処理してくれ、分散トレーニング用のライブなターミナルダッシュボードも提供してくれます。

俺も同じ問題に直面しました。smolcluster を自分のプロジェクトで使い始めてからというもの、トレーニング用にクラスタへ追加したい各ノードごとに、SSHのセットアップ、ネットワーキング、ケーブルなどを全部やらなきゃいけないんですよね、はぁ…わかるでしょ？この痛み。

そこで、せいぜいできたのは調べて、「必要なのはノードの自動検出、つまり mDNS だ」と気づくことでした。

これは AirDrop が macOS デバイス間のシームレスな自動検出とデータ転送に使っていて、macOS 以外には Zeroconf を使います。ただ残念ながら、動く解決策は思いつけませんでした（スキルの問題ってやつですね、たぶんハハ）。

そしてそこで grove を見つけました。俺は grove を作ったわけじゃない、ただ統合しただけです。

• grove ができること：

Mac では、ノード同士が mDNS 経由で互いを発見します — IP もありません、SSH 設定も不要で、何もいりません！ Linux/Jetson では TCP にフォールバックしますが、mDNS と合わせて、ランクごとの TUI がリアルタイムで表示されます。ランク、ホスト、損失、勾配ノルム、tokens/sec、ネットワークI/Oがその場で見えます

• 統合の面：

すべての smolcluster のトレーニングアルゴリズム（つまり FSDP、SyncPS、ClassicDP など）を、教育目的で Python の純粋なソケットで実装し直したんだけど、これらは今では IP や SSH やネットワーキングなどを気にせず、簡単にそのまま 2コマンドで実行できます！（以前は 10 ステップくらいで、うっ…本気で回すなら結局それでも必要ですが。）

• 3ノードクラスタでの使い方：

コーディネータ側で grove start <script> -n 3 を実行し、各ワーカで grove join を実行すると、クラスタは自動で形成されます

これがセットアップの全てです。固定IPは不要、設定ファイルも不要、手動のポートフォワーディングも不要。

これは自分の 3× Mac Mini で動かしていて、すぐに Jetson ボードでもテストする予定です。

今日ぜひ smolcluster[dot]com でチェックしてみてください！

PS: grove をリリースしてくれた @swar_ja に敬意を！