mlx-tune – Mac上でLLMをファインチューニングする（SFT、DPO、GRPO、Vision）Unsloth互換API付き

こんにちは、皆さん、

私は mlx-tune、Apple Silicon 上で MLX を使用してネイティブに LLM をファインチューニングするオープンソースライブラリmlx-tuneに取り組んできました。

このツールを作ったのは、クラウド GPU 上で日常的に Unsloth を使っていますが、GPU 時間を費やす前に自分の Mac でローカルトレーニングの実行をプロトタイプしたかったからです。Unsloth は Triton に依存しており（まだ Mac サポートなし）、Apple の MLX フレームワークを Unsloth 互換 API にラップしました — これにより、同じトレーニングスクリプトを Mac と CUDA の両方で動かせます。import 行を変えるだけです。

現時点でのサポート内容:

• SFT ネイティブ MLX トレーニングを用いた（LoRA/QLoRA）
• DPO、ORPO、GRPO、KTO、SimPO — すべて適切な損失設定を実装
• Vision モデルのファインチューニング — LoRA を用いた Qwen3.5 VLM のトレーニング
• チャットテンプレート 15モデル分（Llama 3、Gemma、Qwen、Phi、Mistral、DeepSeek など）
• 応答のみのトレーニング via train_on_responses_only()
• HuggingFace 形式へのエクスポート、Ollama/llama.cpp 用の GGUF
• 8GB+ の統合RAM（1B 4-bit モデル）で動作、16GB+ を推奨

​

# Just swap the import from mlx_tune import FastLanguageModel, SFTTrainer, SFTConfig # ... rest of your Unsloth code works as-is 

いくつかの背景情報: 以前は unsloth-mlx と呼ばれていましたが、公式の Unsloth プロジェクトとの混同を避けるため mlx-tune に改名しました。同じライブラリ、同じビジョン — ただ名前を分かりやすくしました。

これは何ではないか：Unsloth の代替ではありません。カスタム Triton カーネルを使った Unsloth は NVIDIA ハードウェアでより高速です。これはローカル開発ループのためのもの — Mac で実験してパイプラインを動かし、実際のトレーニングを CUDA へプッシュして実行します。

正直な制限：

• 量子化されたベースモデルからの GGUF エクスポートは機能しません（mlx-lm の上流制限）
• RL トレーナーは現在1サンプルずつ処理します
• これは個人プロジェクトのため、フィードバックとバグレポートは本当に役に立ちます

GitHub: https://github.com/ARahim3/mlx-tune
ドキュメント: https://arahim3.github.io/mlx-tune/
PyPI: pip install mlx-tune

ご意見をいただけると嬉しいです、特に M1/M2/M3/M4/M5 でファインチューニングしている方からのフィードバックを歓迎します。