2002年製 PowerBook G4 上で TinyLlama 1.1B をローカル実行。Mac OS 9、インターネットなし、CD からインストール。

皆さん、こんにちは！何ヶ月もこれに取り組んできましたが、本日がその日です。MacinAI Localは、クラシックなMacintoshハードウェア上でネイティブに動作する、インターネット接続不要の完全なローカルAI推論プラットフォームです。

これが従来のレトロAIプロジェクトとどう違うか:

私が見てきた“旧ハードウェア上のAI”プロジェクト（Windows 98 の llama98.c、Commodore 64 の llama2.c64、DOS の llama2）は、Karpathy の llama2.c を 260Kパラメータの小さなモデル1つにポートしています。MacinAI Localは、基礎から作られたプラットフォームです：

• カスタム C89 推論エンジン: llama.cpp や llama2.c のポートではありません。Mac Toolbox API とクラシックMac OSのメモリ管理をターゲットに、ゼロから作成しました。
• モデル非依存: GPT-2 (124M)、TinyLlama、Qwen (0.5B)、SmolLM、HuggingFace/LLaMA アーキテクチャのモデルを、Pythonエクスポートスクリプト経由で実行します。特定の“おもちゃのモデル”に縛られていません。
• 100Mパラメータのカスタムトランスフォーマー: Inside Macintosh、MacWorld、Usenetアーカイブ、プログラミング参照資料など、Macintosh固有のテキスト1.1GBで訓練。
• AltiVec SIMD 最適化: PowerPC G4 で 7.3x の速度向上。スカラー基準の 2.4 秒/トークンから、Q8 量子化と4倍展開ベクトル演算とキャッシュ事前取得で 0.33 秒/トークンへ。
• エージェント的なMac制御: モデルがアプリを起動し、ファイルを管理し、コントロールパネルを開き、システムタスクを自動化するAppleScriptを生成します。実行前に確認を求めます。
• ディスクページング: RAMに収まりきらない層はディスクからページングされるため、メモリが限られたマシンでも推論を実行できます。TinyLlama 1.1B は、ハードドライブから層をストリーミングすることで 1GB RAM のマシン上で動作します。
• Speech Manager 統合: Mac は PlainTalk の声を使ってすべての応答を音声で読み上げます。
• BPE トークナイザ: 8,205 トークン。システム操作用の特別なコマンドトークンを含みます。

デモ用ハードウェア:

PowerBook G4 Titanium (2002)、1GHz G4、1GB RAM、Mac OS 9.2.2 を実行。

実機パフォーマンス（PowerBook G4 1GHz、Mac OS 9.2、すべて Q8）:

モデル	パラメータ	Q8 サイズ	トークン/秒	1トークンあたり	ノート
MacinAI Tool v7	94M	107 MB	2.66 tok/s	0.38s	カスタムツールモデル、AppleScript
GPT-2	124M	141 MB	1.45 tok/s	0.69s	テキスト補完
SmolLM 360M	360M	394 MB	0.85 tok/s	1.18s	チャットモデル
Qwen 2.5 0.5B	494M	532 MB	0.63 tok/s	1.59s	最高品質
TinyLlama 1.1B	1.1B	1.18 GB	0.10 tok/s	9.93s	ディスクページング（113トークンあたり24.5分）

技術仕様:

	詳細
言語	C89 (CodeWarrior Pro 5)
対象OS	System 7.5.3 から Mac OS 9.2.2
対象CPU	68000, 68030, 68040, PowerPC G3, G4
量子化	Float32, Q8_0 (グループごとに int8)
アーキテクチャ	LLaMA 系 (RMSNorm/SwiGLU/RoPE) + GPT-2 系 (LayerNorm/GeLU/learned pos)
アリーナアロケータ	単一の連続ブロック、物理RAMの88%、断片化なし
AltiVec スピードアップ	スカラー基準より 7.3x

次にやること:

1993年の LC 575 / Color Classic Mystic で 68040ビルドを動かす準備を進めています。アーキテクチャ自体はすでに対応済み、あとはハードウェアを手に入れるだけです。

デモ: https://youtu.be/W0kV_CCzTAM

技術的解説: https://oldapplestuff.com/blog/MacinAI-Local/

技術的な質問には喜んでお答えします。AltiVec 最適化の旅路（その過程で CodeWarrior コンパイラのバグを見つけた話）、訓練パイプライン、モデルエクスポートのプロセスに関するドキュメントがあります。

お読みいただきありがとうございます！