MAGNET：分散型オートリサーチとBitNet学習による自律的な専門家モデル生成

arXiv cs.AI / 2026/3/30

💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research

共有:

要点

MAGNETは、複数の統合コンポーネントによって、汎用（コモディティ）ハードウェア上でドメイン専門家向け言語モデルを自律的に生成・学習・提供できる分散型フレームワークとして提案されている。
システムのオートリサーチ（autoresearch）パイプラインは、データセット生成、ハイパーパラメータ探索、評価、エラーに基づく反復といったエンドツーエンドのML研究タスクを自動化し、3つのケーススタディによって検証される。
MAGNETは、GPUハードウェアを必要とせずに（bitnet.cppを介して）CPUネイティブ推論を可能にすることを意図したBitNet b1.58の学習を導入し、ハイパーパラメータ最適化によって検証損失が測定可能な形で改善することを報告している。
これは、DiLoCoベースの分散マージを組み合わせて「ドメイン専門家」モデルを効率的に集約し、HOOTi EVMチェーン上でのオンチェーンの貢献トラッキングを用いて入力を記録する。
報告された結果は、ビデオ安全性分類の性能向上、暗号資産の方向性予測の的中率向上、ならびに自動化されたBitNetハイパーパラメータスイープによる損失低減の定量化にまたがる。

Abstract

我々は、コモディティ（汎用）ハードウェア上でドメイン専門家向け言語モデルを自律的に生成・学習・提供するための、分散型システムMAGNET（Model Autonomously Growing Network）を提示する。MAGNETは4つのコンポーネントを統合している：（1）オートリサーチ（autoresearch）：データセット生成、ハイパーパラメータ探索、評価、エラー駆動の反復を自動化する自律的なML研究パイプライン；（2）BitNet b1.58：bitnet.cppを用いたGPUハードウェアなしでのCPUネイティブ推論を可能にする三値学習；（3）DiLoCoベースの分散マージ：ドメインの専門家を通信効率良く集約するための分散型統合；（4）HOOTi EVMチェーン上でのオンチェーン寄与（コントリビューション）追跡。オートリサーチについて、3つのケーススタディで検証する：動画安全性分類（バランス精度 0.9287〜0.9851）、暗号資産の方向性予測（的中率 41%〜54.9%）、およびBitNetのハイパーパラメータ最適化（10フェーズのスイープ、検証損失 -16.7%）。