 | みなさんこんにちは。自分の歩みを共有しようと思って投稿しました。私はAIやLLMに夢中になり、消費者向けデバイス（スマホ）向けのアプリを作り始めたのですが、消費者向けのハードウェアで高速に動いて実用になるモデルの市場は、主目的というよりは後付けのように感じられました。そこで私は（自分のAIの助けも借りつつ）時間をたくさん費やして、学習し、調査し、SLMのためのアーキテクチャを設計しました。いくつかの週にわたってさまざまな設計の試行錯誤を経た後、CPUのみで80トク/sec以上で動かせるアーキテクチャにたどり着きました。 このモデルはJTech-Nanoで、1.1BパラメータのSLMです。推論にGPUは不要です。目標は、本当に役に立つAIを、インターネットなし・APIキーなし・クラウド料金なしで、スマホ/ラップトップ/その他お手元の機器で効率よく動かすことです。 現在は自宅の自分のハードウェアでこれを学習させているところで、微調整に切り替える前に100Bトークンを目標にしています。クラスターなし。資金なし。MLエンジニア50人のチームなし。ひたすら、寝られない夜を過ごしてロス曲線を眺めながら、学習レジメンが動いていることを確認しています。 こちらが50Bトークンの学習がどんなものかです。紫のスパイクは、午前3時に学習率スケジュールを調整したときのものです。モデルは回復して、学習に戻っています……そして学習は続いています。 「家で動かす」AIの領域に最初に入ったとき、私はr/LocalLlamaを大量に使いました。このモデルは、十分に賢くて役に立つようになり次第、リリースする予定です。できれば、遠くない未来に。 [リンク] [コメント] |
自宅で1.1BのSLMを学習する
Reddit r/LocalLLaMA / 2026/4/7
💬 オピニオンSignals & Early TrendsTools & Practical UsageModels & Research
要点
- 著者は、自宅で学習した「SLM」と呼ばれる1.1Bのモデル「JTech-Nano」を構築し、GPUなしで推論できるように、CPUのみのハードウェア上で効率よく動作することを目指していると述べている。
- 目標は、オフラインで（インターネットなし、APIキーなし、クラウド費用なし）スマートフォンやノートPCといった一般的なデバイス上で動く、本当に使えるローカルAIである。
- 複数週間にわたる試行錯誤の末、独自のモデルアーキテクチャにより、CPU上で80トークン/秒超の速度を達成したと報告している。
- 現在は個人のハードウェアで学習を進めており、大規模チームや計算クラスタなしで、まず100Bトークンを目標にしてから微調整（ファインチューニング）へ移行する方針だ。
- モデルが十分に賢く実用的になったら公開する予定で、学習率調整による損失曲線の変化など、学習の進捗状況も共有する予定だ。
