私たちは密かにファインチューニングされたモデルに取り組んできて、ついにそれを公開することにしました。アイデアは、CodeGenで平凡である可能性があると見込まれる非常に小さなLLMをファインチューニングすることでしたが、その後、非常にニッチなCodeGenタスク（正確にはUIgen、特定のフレームワーク、言語＆CSSライブラリにおけるUI生成）に対して、より品質の高いコードを供給してこれを強化できるか試してみることでした。このアイデアはこの論文から得ました: https://arxiv.org/abs/2506.02153
概要
QwendeanはUI生成タスクのためにQwen3-4Bの上にファインチューニングされた40億パラメータのモデルです。約4千サンプルからなる{prompt, completion}ペアのJSONLデータセットでトレーニングされました。詳しい細部には立ち入りません。現時点ではColabノートブックを直接確認できます: https://colab.research.google.com/drive/1r7g7xyG1tegQJntL82cIwu-iog-fhv0i?usp=sharing
最終目標はVercelのv0.devのようなものを作ることです。そのため現在、より大きなモデルがUIの生成のためにこれらのSLMにタスクを委任するLangGraphシステムを構築中で、生成されたUIがシンセサイザーへと渡されます。学術論文の執筆の後に時間が取れ次第、訓練とLangGraph関連を含むすべてをApache 2.0の下で公開するクリーンなリポジトリを公開します。
私たちはここにいる他の人々のような素晴らしいファインチューニングの魔法使いではありません。おそらくはより良い vibecoders かもしれません… なので最高とは言えませんが、特にファインチューニングに携わっている人々からの正直なフィードバックをコミュニティから求めています。
モデル: https://huggingface.co/iamdyeus/qwendean-4b
量子化済み: https://huggingface.co/iamdyeus/qwendean-4b-GGUF
[リンク] [コメント]
